[논문 리뷰] End-to-end Learning Improves Static Object Geo-localization in Monocular Video

Mohamed Chaabane, Lionel Gueguen외 3명|arXiv (Cornell University)|2020. 04. 10.

Advanced Neural Network Applications참고 문헌 36인용 수 6

한 줄 요약

이 논문은 단일 영상에서 정적 객체(예: 신호등)의 5차원 지리적 위치를 향상시키기 위해 포즈 추정, 프레임 간 객체 매칭, 다중 객체 추적를 공동으로 최적화하는 엔드 투 엔드 딥 러닝 시스템을 제안한다. 이 방법은 X/Y 축의 중앙값 오차를 20cm 이하로 유지하고 Z 축 중앙값 오차는 1.47m로 기록하여, 다중 과제 손실을 통한 공동 학습을 통해 이전 방법들을 능가하는 정확도와 강건성을 입증한다. 실생활 자율주행 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Accurately estimating the position of static objects, such as traffic lights, from the moving camera of a self-driving car is a challenging problem. In this work, we present a system that improves the localization of static objects by jointly-optimizing the components of the system via learning. Our system is comprised of networks that perform: 1) 5DoF object pose estimation from a single image, 2) association of objects between pairs of frames, and 3) multi-object tracking to produce the final geo-localization of the static objects within the scene. We evaluate our approach using a publicly-available data set, focusing on traffic lights due to data availability. For each component, we compare against contemporary alternatives and show significantly-improved performance. We also show that the end-to-end system performance is further improved via joint-training of the constituent models.

연구 동기 및 목표

• 이동 중인 차량에서의 단일 영상에서 정적 교통 객체(예: 신호등)의 정확하고 실시간 지리적 위치를 측정하는 과제를 해결한다.
• 객체 검출, 포즈 추정, 추적를 분리한 모듈러 시스템의 한계를 극복하여 오류 전파로 인한 성능 저하를 방지한다.
• 엔드 투 엔드 학습을 통해 포즈 회귀, 객체 매칭, 추적의 공동 최적화를 가능하게 하여 시스템 수준의 정확도를 향상시킨다.
• 학습된 매칭 모듈에서 시각적 특징과 기하학적 특징을 융합함으로써 복잡한 도심 환경에서 강건성과 정밀도를 향상시킨다.
• 데이터 가용성에 따라 신호등 외의 다른 소형 정적 객체(예: 표지판)에도 적용 가능한 확장 가능한 프레임워크를 제공한다.

제안 방법

• 지리적 위치가 기록된 RGB 영상 프레임 쌍을 입력으로 사용하는 이중 스트림 네트워크 아키텍처를 활용하여 5차원 객체 포즈(3차원 위치 + 2차원 회전)를 추정한다.
• 단일 이미지에서 객체 포즈를 예측하기 위해 새로운 5차원 포즈 회귀 네트워크를 사용하며, 정확도 향상을 위해 외관과 기하학적 특징을 모두 활용한다.
• 포즈 네트워크에서 유도된 기하학적 제약 조건과 다중 해상도 외관 특징을 융합하는 크로스 이미지 객체 매칭 모듈을 설계하여 대응 정확도를 향상시킨다.
• 헝가리안 알고리즘을 사용한 데이터 연동을 통해 포즈 및 매칭 네트워크를 다중 객체 추적 프레임워크에 통합하여 프레임 간 지속적인 추적을 가능하게 한다.
• 포즈 회귀, 매칭, 추적 목표를 공동으로 최적화하는 다중 과제 손실 함수를 사용해 전체 시스템을 엔드 투 엔드로 학습시킨다.
• 기존 데이터셋에서 사전 추정된 자동차의 자이로스코프 운동(카메라 포즈)을 활용하여 LiDAR나 GPS를 입력으로 요구하지 않고도 정확한 삼각측량과 지리적 위치를 도출한다.

실험 결과

연구 질문

• RQ1 포즈 추정, 객체 매칭, 다중 객체 추적를 공동 최적화하는 엔드 투 엔드 접근이 분리된 시스템에 비해 5차원 지리적 위치 정확도를 향상시키는가?
• RQ2 학습된 매칭 모듈에서 외관과 기하학적 특징을 융합할 경우, 영상 프레임 간 정적 객체 추적 성능에 어떤 영향을 미치는가?
• RQ3 다중 과제 손실 함수를 통한 공동 학습이 개별 구성 요소 학습에 비해 X, Y, Z 축의 정위치 오차를 얼마나 줄이는가?
• RQ4 마할라노비스 거리와 비대칭 임계값(예: x=0.4m, y=0.39m, z=3.84m)을 고려한 현실적 조건에서 제안된 방법이 MRF-삼각측량 및 SSD-ReID-Geo와 비교해 어떤 성능을 보이는가?
• RQ5 제한된 깊이 정보와 높은 객체 밀도를 가진 실생활 단일 영상에 적용했을 때 시스템이 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 엔드 투 엔드 시스템은 X축에서 중앙값 이동 오차 0.16m, Y축에서 0.15m를 기록하여 MRF-삼각측량(0.24m, 0.27m)과 SSD-ReID-Geo(0.51m, 0.45m)를 뛰어넘는다.
• Z축의 중앙값 깊이 오차는 1.47m로, 횡방향 오차가 종방향 오차보다 더 중요한 실생활 응용 분야에서 허용 가능한 수준이다.
• 비대칭 임계값(Mahalanobis 거리 기반, x=0.4m, y=0.39m, z=3.84m)을 적용했을 때, 특히 횡방향 위치 정확도에서 MRF-삼각측량 및 SSD-ReID-Geo보다 높은 정밀도와 재현율을 확보한다.
• 20도 이내의 자세 일致 조건을 요구할 경우에도 F1 스코어가 약간 감소할 뿐이지 강건한 5차원 포즈 추정 성능을 유지한다.
• 다중 과제 손실 함수를 통한 공동 학습은 구성 요소 수준의 성능(포즈 회귀, 매칭)과 시스템 수준의 지리적 위치 정확도 양면에서 명확한 향상을 이룬다.
• 프레임 쌍에 국한된 제약 조건에서도 SSD-ReID-Geo를 능가함으로써, 별도의 프레임 쌍 처리보다 공동 최적화와 더 나은 특징 학습의 우수성을 입증한다.