[논문 리뷰] Learning models for visual 3D localization with implicit mapping

Dan Rosenbaum, Frederic Besse외 3명|arXiv (Cornell University)|2018. 07. 04.

Robotics and Sensor-Based Localization참고 문헌 40인용 수 17

한 줄 요약

이 논문은 새로운 주목 메커니즘을 갖춘 향상된 생성 쿼리 네트워크(GQN)를 통해 암묵적 환경 표현을 이용한 시각적 3D 현장 위치 특정을 위한 생성 학습 접근법을 제안한다. 생성 모델이 분류 기반 기준보다 환경의 구조와 불확실성을 더 잘 포착하는 것으로 나타났지만, 테스트 시 최적화가 필요하며, 분류 기반 모델은 더 강한 사전 확률 편향 덕분에 참값 자세에 대해 더 높은 가능도를 달성한다.

ABSTRACT

We consider learning based methods for visual localization that do not require the construction of explicit maps in the form of point clouds or voxels. The goal is to learn an implicit representation of the environment at a higher, more abstract level. We propose to use a generative approach based on Generative Query Networks (GQNs, Eslami et al. 2018), asking the following questions: 1) Can GQN capture more complex scenes than those it was originally demonstrated on? 2) Can GQN be used for localization in those scenes? To study this approach we consider procedurally generated Minecraft worlds, for which we can generate images of complex 3D scenes along with camera pose coordinates. We first show that GQNs, enhanced with a novel attention mechanism can capture the structure of 3D scenes in Minecraft, as evidenced by their samples. We then apply the models to the localization problem, comparing the results to a discriminative baseline, and comparing the ways each approach captures the task uncertainty.

연구 동기 및 목표

• 생성 모델이 명시적 지도 없이도 복잡한 3D 환경의 암묵적이고 추상적인 표현을 학습할 수 있는지 조사하기 위해.
• 그러한 암묵적 표현이 정형화된 3D 환경에서 정확한 시각적 3D 현장 위치 특정을 지원할 수 있는지 평가하기 위해.
• 불확실성 모델링과 성능 측면에서 생성 학습과 분류 학습 접근법을 비교하기 위해.
• GQN 기반 모델에서 주목 메커니즘이 환경 표현 및 위치 특정 정확도에 미치는 영향을 평가하기 위해.

제안 방법

• 저자는 학습 및 평가를 위해 카메라 자세 애너테이션을 동반한 다양한 3D 환경을 생성하기 위해 정형화된 Minecraft 세계를 사용한다.
• 모델은 환경 표현 학습 및 시각 생성을 향상시키기 위해 새로운 공간 주목 메커니즘으로 GQN 프레임워크를 확장한다.
• 모델은 맥락 이미지와 그들의 자세로부터 조건부 암묵적 표현을 학습하여, 암묵적 추론을 통해 새로운 이미지(타겟)의 자세를 예측할 수 있다.
• 위치 특정을 위해 생성 모델은 자세 공간 전반에 걸쳐 모델을 쿼리하여 가능한 자세에 대한 확률 분포를 계산하는 반면, 분류 기반 기준은 맥락 이미지에서 직접 자세를 회귀한다.
• 분류 모델은 맥락 이미지와 그들의 자세를 주어진 타겟 이미지의 카메라 자세를 예측하기 위해 직접 회귀 헤드를 사용하여 훈련된다.
• 성능 평가는 자세 예측의 평균 제곱 오차(MSE)와 예측된 분포에서 참값 자세의 로그 가능도를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 정형화된 Minecraft 3D 환경의 구조적 복잡성을 강화된 주목 메커니즘을 갖춘 GQN이 암묵적으로 포착할 수 있는가?
• RQ2 명시적 지도 없이도 그러한 생성 모델이 시각적 3D 현장 위치 특정에 효과적으로 사용될 수 있는가?
• RQ3 생성 접근법의 불확실성 모델링이 분류 기반 기준에 비해 어떻게 다른가?
• RQ4 주목의 포함 여부가 생성 및 분류 설정 양쪽에서 환경 표현 품질과 위치 특정 정확도에 영향을 미치는가?

주요 결과

• 20장의 맥락 이미지를 사용하여 생성 모델은 주목 기능을 갖춘 상태에서 테스트 시 허상 각도에 대해 MSE 0.07, x,y 위치에 대해 MSE 0.08을 기록하여 불확실성 인식 위치 특정에서 기준보다 뛰어난 성능을 보였다.
• 분류 모델은 참값 자세에 대해 더 높은 로그 가능도(log-prob = -1.9)를 부여한 반면, 생성 모델은 낮은 로그 가능도(log-prob = -4.1)를 기록하여 맥락 자세 근처에 더 강한 사전 확률 집중을 보였다.
• 생성 모델의 확률 분포는 탐색되지 않은 영역에 걸쳐 더 균일하게 분포되어 있어, 훈련 데이터 자세 사전 확률에 덜 치우쳐 있고 불확실성을 더 잘 포착하고 있음을 보여주었다.
• 주목 메커니즘이 두 모델의 성능을 향상시켰으며, 생성 모델에서 상대적 향상 폭이 더 커, 암묵적 모델링에서 표현 학습을 강화하는 데 기여함을 시사했다.
• 생성 모델은 현실적인 새로운 시각 샘플을 생성하여 맥락 이미지에서 의미 있는 3D 환경 구조를 학습할 수 있음을 입증했다.
• 불확실성 모델링이 뛰어나지만, 생성 접근법은 테스트 시 최적화가 필요하여 단일 전방 전파로 동작하는 분류 모델보다 효율성이 떨어진다.