[논문 리뷰] Reference Pose Generation for Visual Localization via Learned Features and View Synthesis

Zichao Zhang, Torsten Sattler외 1명|arXiv (Cornell University)|2020. 05. 11.

Advanced Vision and Imaging인용 수 12

한 줄 요약

이 논문은 실사 이미지와 3D 모델의 렌더링 간에 학습된 특징 매칭을 통해 초기 추정값을 보정하여 시각적 국소화를 위한 정확한 6-자유도 기준 자세를 반자동으로 생성하는 방법을 제안한다. 이는 Aachen Day-Night 데이터셋에서 야간 자세 정확도를 크게 향상시켜 기존 기준 자세에 기반한 예측보다 최대 47% 높은 성능을 달성할 수 있게 한다.

ABSTRACT

Visual Localization is one of the key enabling technologies for autonomous driving and augmented reality. High quality datasets with accurate 6 Degree-of-Freedom (DoF) reference poses are the foundation for benchmarking and improving existing methods. Traditionally, reference poses have been obtained via Structure-from-Motion (SfM). However, SfM itself relies on local features which are prone to fail when images were taken under different conditions, e.g., day/night changes. At the same time, manually annotating feature correspondences is not scalable and potentially inaccurate. In this work, we propose a semi-automated approach to generate reference poses based on feature matching between renderings of a 3D model and real images via learned features. Given an initial pose estimate, our approach iteratively refines the pose based on feature matches against a rendering of the model from the current pose estimate. We significantly improve the nighttime reference poses of the popular Aachen Day-Night dataset, showing that state-of-the-art visual localization methods perform better (up to 47%) than predicted by the original reference poses. We extend the dataset with new nighttime test images, provide uncertainty estimates for our new reference poses, and introduce a new evaluation criterion. We will make our reference poses and our framework publicly available upon publication.

연구 동기 및 목표

• 낮/밤 변화와 같은 도전적인 조건에서 Structure-from-Motion(SfM)이 신뢰할 수 있는 기준 자세를 생성하는 데에 한계가 있음을 해결한다.
• 자세 추정을 위한 수동 특징 대응 주석의 확장성과 정확성 문제를 극복한다.
• 특히 야간 이미지에 대해 Aachen Day-Night 데이터셋의 기준 자세 품질을 향상시킨다.
• 생성된 기준 자세에 대한 불확실성 추정치를 제공하여 강건한 평가를 지원한다.
• 개선된 자세 감독 하에 시각적 국소화 성능을 보다 정확히 평가하기 위한 새로운 평가 기준을 도입한다.

제안 방법

• 장면의 3D 모델을 사용하여 초깃세 추정값에서 유도된 시뮬레이션된 렌더링을 생성한다.
• 딥 러닝 특징을 활용해 실사 이미지와 렌더링 간의 대응점들을 매칭한다.
• 실사 이미지와 모델 렌더링 간의 특징 대응을 기반으로 자세 추정값을 반복적으로 보정한다.
• 특징 매칭 손실 기반으로 자세 최적화를 위한 엔드 투 엔드 최적화를 가능하게 하는 가역적 렌더링 파이프라인을 적용한다.
• 특징 매칭 과정에 몬테카를로 드롭아웃 또는 유사 기법을 사용하여 보정된 자세의 불확실성 추정치를 산출한다.
• 새로운 고해상도 야간 테스트 이미지와 함께 Aachen Day-Night 데이터셋을 확장하고, 개선된 기준 자세 및 코드를 공개한다.

실험 결과

연구 질문

• RQ1 실사 이미지와 3D 모델의 렌더링 간에 학습된 특징 매칭이 저조도 또는 저대trast 조건에서 6-자유도 기준 자세의 정확도를 향상시킬 수 있는가?
• RQ2 제안된 방법이 원래 SfM 기반 자세에 비해 최신 시각적 국소화 방법의 성능을 어느 정도 향상시키는가?
• RQ3 이 방법이 생성하는 불확실성 추정치는 얼마나 신뢰할 수 있으며, 국소화 오차와 상관관계가 있는가?
• RQ4 이러한 프레임워크는 자세 확보에 유사한 과제를 안고 있는 다른 데이터셋으로 일반화 가능한가?
• RQ5 새로운 평가 기준은 개선된 자세 감독 하에서 국소화 시스템의 진정된 성능을 더 잘 반영하는가?

주요 결과

• 제안된 방법은 Aachen Day-Night 데이터셋의 야간 기준 자세 품질을 크게 향상시켜, 최신 시각적 국소화 방법이 원래 SfM 기반 자세에 기반한 예측보다 최대 47% 높은 성능을 달성할 수 있도록 한다.
• 개선된 기준 자세는 저조도 및 텍스처가 적은 조건에서 더 신뢰성 있고 일관성 있는 국소화 결과를 이끌어낸다.
• 프레임워크가 생성한 불확실성 추정치는 국소화 오차와 상관관계가 있어 자세 신뢰도를 신뢰할 수 있는 척도로 기능한다.
• 이 방법은 새로운 고품질 야간 테스트 이미지와 함께 Aachen Day-Night 데이터셋을 성공적으로 확장한다.
• 새로운 평가 기준은 이전에 정확도가 떨어지는 기준 자세로 인해 가려졌던 성능 향상을 드러내어 고품질 감독의 중요성을 입증한다.