[논문 리뷰] To Learn or Not to Learn: Visual Localization from Essential Matrices

Qunjie Zhou, Torsten Sattler외 2명|arXiv (Cornell University)|2019. 08. 04.

Robotics and Sensor-Based Localization참고 문헌 90인용 수 10

한 줄 요약

이 논문은 기초 행렬을 기반으로 한 RANSAC 기반 접근 방식에 의해 시각적 위치 추정을 위한 새로운 경량 프레임워크를 제안한다. 이 방법은 기초 행렬 추정 방식에 대해 무관하다. 학습된 특징 매칭은 일반화 능력이 뛰어나지만, 기초 행렬의 엔드 투 엔드 회귀는 회귀 헤드의 일반화 능력 부족으로 인해 일반화에 실패하며, 심지어 하이브리드 학습 특징 매칭조차도 전통적인 SIFT 기반 방법에 뒤지며, 현재 학습 기반 시각적 위치 추정 접근 방식의 핵심적 한계를 드러낸다.

ABSTRACT

Visual localization is the problem of estimating a camera within a scene and a key component in computer vision applications such as self-driving cars and Mixed Reality. State-of-the-art approaches for accurate visual localization use scene-specific representations, resulting in the overhead of constructing these models when applying the techniques to new scenes. Recently, deep learning-based approaches based on relative pose estimation have been proposed, carrying the promise of easily adapting to new scenes. However, it has been shown such approaches are currently significantly less accurate than state-of-the-art approaches. In this paper, we are interested in analyzing this behavior. To this end, we propose a novel framework for visual localization from relative poses. Using a classical feature-based approach within this framework, we show state-of-the-art performance. Replacing the classical approach with learned alternatives at various levels, we then identify the reasons for why deep learned approaches do not perform well. Based on our analysis, we make recommendations for future work.

연구 동기 및 목표

• 상대 자세 추정을 사용하는 딥 러닝 기반 시각적 위치 추정 방법이 전통적 방법에 비해 성능이 열 劣하는 이유를 조사한다.
• 기초 행렬과 RANSAC을 사용하여 절대 카메라 자세를 복원하는 장면에 무관한 일반적인 프레임워크를 개발한다.
• 학습된 상대 자세 추정의 성능 저하와 정확도 저하를 유발하는 요소들을 분리하고 분석한다.
• 전통적 특징 기반 방법, 엔드 투 엔드 학습된 기초 행렬 회귀, 하이브리드 학습 특징 매칭을 통합된 프레임워크에서 비교한다.
• 일반화 가능한 데이터 기반 시각적 위치 추정을 위한 향후 연구에 실질적인 통찰을 제공한다.

제안 방법

• 쿼리 이미지와 다수의 데이터베이스 이미지 간의 기초 행렬을 추정하여 절대 카메라 자세를 계산하는 새로운 RANSAC 기반 프레임워크를 제안한다.
• 기초 행렬을 전통적(SIFT), 학습된 회귀(EssNet), 또는 하이브리드(학습된 매칭 + SIFT 유사 5점 알고리즘) 방법으로 계산할 수 있는 유연한 파이프라인을 설계한다.
• MegaDepth, 7 Scenes, Cambridge Landmarks 데이터셋에서 훈련된 새로운 CNN 기반 네트워크(EssNet)를 제안하여 이미지 쌍에서 기초 행렬을 직접 회귀한다.
• SIFT 대신 학습된 특징 매칭 모듈(NCM)을 사용하고, 여전히 5점 알고리즘을 활용해 자세 추정을 수행하는 하이브리드 접근 방식을 적용한다. 이 모듈은 관련 없는 데이터셋(ivd)에서 훈련된다.
• 계산 효율성을 확보하기 위해 훈련 시 해상도를 224×224로 낮추었지만, 하이브리드 설정에서 특징 매칭에 고해상도 추론을 적용한다.
• 이미지넷 사전 훈련 및 깊이, 실내/실외 환경에서의 작업 전용 미세조정 전략을 포함해 다양한 데이터셋과 훈련 전략에 대해 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 딥 네트워크를 사용함에도 불구하고, 엔드 투 엔드 학습된 상대 자세 회귀 방법이 새로운 환경에 일반화되지 않는 이유는 무엇인가?
• RQ2 이 네트워크가 학습한 특징들이 다양한 환경과 도메인 간에 얼마나 일반화되는가?
• RQ3 학습된 방법과 전통적 방법 간의 성능 격차는 회귀 헤드, 특징 추출, 또는 매칭 과정 중 어느 요소에서 기인하는가?
• RQ4 학습된 특징 매칭과 전통적 자세 추정을 조합한 하이브리드 접근 방식이 순수 학습 또는 순수 전통적 방법보다 우수한 성능을 낼 수 있는가?
• RQ5 학습 파이프라인의 어떤 요소가 정확도와 일반화 능력을 동시에 확보하는 데 가장 중요한가?

주요 결과

• 전통적 SIFT 기반 방법(SIFT+5pt)은 Cambridge Landmarks에서 최고 성능(중위수/평균 오차 0.47/0.88)을 기록하며, 더 복잡한 학습 방법들보다 뛰어나다.
• 엔드 투 엔드 기초 행렬 회귀(EssNet)는 SIFT 기반 방법보다 성능이 열 劣하며, Cambridge Landmarks에서 중위수/평균 오차가 0.83/1.36로 나타나 일반화 능력이 떨어진다.
• 네트워크가 학습한 특징과 특징 매칭은 다양한 데이터셋 간에 잘 일반화되며, 다양한 사전 훈련 작업과 데이터셋 간 성능 격차는 미미하게 유지된다(중위수 오차 0.89–0.98).
• 학습된 매칭(NCM)을 사용하고 SIFT 유사 5점 알고리즘을 적용한 하이브리드 접근 방식은 순수 회귀 방법(0.89/1.39)보다 더 좋은 결과를 내지만, 여전히 SIFT 기반 방법(0.47/0.88)에 뒤진다.
• 학습된 방법의 주요 실패 원인은 특징 추출이나 매칭이 아니라 회귀 헤드에 있으며, 다양한 특징 훈련 전략에서 일관된 성능 격차가 관찰됨으로써 이를 뒷받침한다.
• 고품질의 학습된 특징을 사용하더라도, 그로 인한 자세 추정 결과는 전통적 SIFT 방법보다 정확도가 떨어지며, 이는 현재 딥 네트워크가 상대 자세 추정을 위한 강력하고 국소화된 표현을 학습하지 못하고 있음을 시사한다.