[논문 리뷰] Understanding the Limitations of CNN-based Absolute Camera Pose Regression

Torsten Sattler, Qunjie Zhou외 2명|arXiv (Cornell University)|2019. 03. 18.

Robotics and Sensor-Based Localization참고 문헌 80인용 수 21

한 줄 요약

이 논문은 CNN 기반 절대 카메라 포즈 회귀(APR) 방법이 3D 구조 기반 접근법에 비해 성능이 열 劣하는 이유를 조사한다. APR가 본질적으로 정확한 3D 기하 기반 포즈 추정보다는 이미지 검색에 더 가까운 성격을 지닌다는 이론적 모델을 제안하며, 경험적으로도 어떤 공개된 APR 방법도 간단한 수작업 이미지 검색 베이스라인을 일관되게 능가하지 못함을 입증하여 현재 APR의 성능과 일반화 능력에 심각한 격차가 있음을 드러낸다.

ABSTRACT

Visual localization is the task of accurate camera pose estimation in a known scene. It is a key problem in computer vision and robotics, with applications including self-driving cars, Structure-from-Motion, SLAM, and Mixed Reality. Traditionally, the localization problem has been tackled using 3D geometry. Recently, end-to-end approaches based on convolutional neural networks have become popular. These methods learn to directly regress the camera pose from an input image. However, they do not achieve the same level of pose accuracy as 3D structure-based methods. To understand this behavior, we develop a theoretical model for camera pose regression. We use our model to predict failure cases for pose regression techniques and verify our predictions through experiments. We furthermore use our model to show that pose regression is more closely related to pose approximation via image retrieval than to accurate pose estimation via 3D structure. A key result is that current approaches do not consistently outperform a handcrafted image retrieval baseline. This clearly shows that additional research is needed before pose regression algorithms are ready to compete with structure-based methods.

연구 동기 및 목표

• CNN 기반 절대 포즈 회귀(APR) 방법이 3D 구조 기반 로컬라이제이션 기법의 정확도를 따라잡지 못하는 이유를 이해하는 것.
• APR 방법의 내부 작동 방식과 한계를 설명하는 이론적 모델을 개발하는 것.
• APR가 이미지 검색과 3D 기하 기반 포즈 추정 중 어느 쪽에 더 가까운지 조사하는 것.
• 학습 데이터 분포 외부에서의 APR 일반화 능력을 평가하는 것.
• 수작업 이미지 검색 기준선과의 비교를 통해 성능 벤치마크를 수립하는 것.

제안 방법

• 학습된 기본 이동 및 회전을 가중 조합으로 분해하는 APR의 이론적 모델을 개발한다.
• 이 모델을 활용해 APR가 학습 데이터를 초월해 어떻게 일반화되는지 분석하며, 이론적으로 강건성 보장이 없음을 보여준다.
• 동일한 특징 기술자(예: DenseVLAD)와 검색 전략을 사용해 APR 성능을 수작업 이미지 검색 기준선과 비교한다.
• DeepLoc 데이터셋에 대해 SfM 복원을 수행해 Active Search와의 공정한 비교를 위한 3D 모델을 구축한다.
• Pose regression 모델과 검색 기반 방법을 DeepLoc 데이터셋의 원본 및 SfM 처리된 버전에서 모두 평가한다.
• APR, 검색, 구조 기반 방법 간 비교를 위해 중앙값 위치 오차 및 중앙값 방향 오차를 주요 메트릭으로 사용한다.

실험 결과

연구 질문

• RQ1 CNN 기반 절대 포즈 회귀의 이론적 행동은 이미지 검색과 3D 기하 기반 포즈 추정 중 어느 쪽에 더 가까운가?
• RQ2 학습 분포 외부의 데이터에서 APR 방법의 일반화 한계는 무엇인가?
• RQ3 간단한 수작업 이미지 검색 기준선이 최신 CNN 기반 APR 방법보다 시각적 로컬라이제이션에서 뛰어나게 성능을 냈는가?
• RQ4 APR 방법이 3D 장면 구조를 얼마나 잘 활용하는가? 특히 구조 기반 접근법과 비교했을 때.
• RQ5 일관된 3D 모델과 진짜 값이 제공될 때 APR의 성능은 Active Search와 같은 구조 기반 방법과 비교해 어떻게 되는가?

주요 결과

• 공개된 단일 이미지 포즈 회귀 방법 중 어느 것도 DenseVLAD 특징을 사용한 수작업 이미지 검색 기준선을 일관되게 능가하지 못한다.
• 최고의 APR 방법(VLocNet++ MTL)의 중앙값 위치 오차는 0.32m였고, 기준선은 0.51m를 기록하여 이 설정에서 기준선이 APR를 능가함을 시사한다.
• 3D 기하를 활용하는 구조 기반 방법인 Active Search는 중앙값 오차가 위치 기준 0.01m, 방향 기준 0.04°로 나타나 모든 APR 방법을 크게 능가한다.
• DenseVLAD 및 DenseVLAD+Inter.의 성능은 DeepLoc 데이터셋의 원본 및 SfM 처리된 버전에서 모두 안정적으로 유지되어 기준선 성능의 일관성을 확인한다.
• APR 방법은 학습된 기본 포즈에 의존하나 명시적인 3D 구조 인식이 없기 때문에 학습 데이터를 초월한 일반화에 이론적 보장이 없음을 보여준다.
• 이론적 분석을 통해 APR가 정확한 3D 기하 기반 포즈 추정보다는 이미지 검색을 통한 포즈 근사에 더 가까운 것으로 확인된다.