[논문 리뷰] Beyond Tracking: Selecting Memory and Refining Poses for Deep Visual Odometry

Fei Xue, Xin Wang외 4명|arXiv (Cornell University)|2019. 04. 03.

Robotics and Sensor-Based Localization참고 문헌 38인용 수 14

한 줄 요약

이 논문은 기억(Memory)과 정밀화(Refining) 모듈을 도입하여 학습 기반 시각 옹도메트리(VI)의 정확성과 견고성을 향상시키는 새로운 엔드 투 엔드 딥 뷰어럴 옹도메트리 프레임워크를 제안한다. 이 방법은 텍스처가 부족하거나 고속 운동이 발생하는 상황에서도 기존의 최신 학습 기반 VO 모델보다 뛰어난 성능을 보이며, 전통적인 단안 시각 옹도메트리 시스템과도 경쟁 가능한 성능을 달성한다.

ABSTRACT

Most previous learning-based visual odometry (VO) methods take VO as a pure tracking problem. In contrast, we present a VO framework by incorporating two additional components called Memory and Refining. The Memory component preserves global information by employing an adaptive and efficient selection strategy. The Refining component ameliorates previous results with the contexts stored in the Memory by adopting a spatial-temporal attention mechanism for feature distilling. Experiments on the KITTI and TUM-RGBD benchmark datasets demonstrate that our method outperforms state-of-the-art learning-based methods by a large margin and produces competitive results against classic monocular VO approaches. Especially, our model achieves outstanding performance in challenging scenarios such as texture-less regions and abrupt motions, where classic VO algorithms tend to fail.

연구 동기 및 목표

• 기존의 학습 기반 시각 옹도메트리 방법이 순수한 추적 문제로 간주하여 장기적 맥락과 오차 보정을 간과하는 한계를 해결한다.
• 자기 조절 메모리 기반 기법을 통해 장기적인 전역 정보를 명시적으로 보존하여 단안 시각 옹도메트리에서의 오차 누적 문제를 해결한다.
• 공간-시간 주의 메커니즘을 통해 저장된 메모리에서의 맥락적 특징을 활용해 이전 예측값을 정밀화함으로써 자세 추정 정확도를 향상시킨다.
• 기존의 전통적 VO 시스템이 실패하는 텍스처가 없는 영역이나 급격한 운동과 같은 어려운 환경에서의 견고성을 향상시킨다.
• 엔드 투 엔드 학습을 유지하면서 일반화 능력 향상을 위해 전통적인 단안 시각 옹도메트리 방법(예: ORB-SLAM2, DSO)과 경쟁 가능한 성능을 달성한다.

제안 방법

• 시간이 지남에 따라 핵심 프레임의 특징을 적응적으로 선택하고 저장함으로써 재중복을 줄이고 장기적 맥락을 유지하는 메모리 모듈을 도입한다.
• 컨볼루션 리커런트 신경망 기반 추적 모듈을 사용하여 현재 특징과 은닉 상태를 융합함으로써 공간적·시간적 일관성을 유지한다.
• 메모리에서 얻은 정보를 활용해 이전 자세 추정치를 재평가하고 보정하는 정밀화 모듈을 구현한다. 이 과정에서 공간-시간 주의 메커니즘을 적용한다.
• 공간적 및 시간적 주의 메커니즘을 병행 적용하여 메모리에서 관련 있는 특징을 선택적으로 추출하여 자세 정밀화를 수행한다.
• 전체 네트워크를 엔드 투 엔드로 학습시켜 추적, 메모리 선택, 자세 정밀화의 공동 최적화를 가능하게 한다.
• 정밀화 모듈에서 특징 재구성 전략을 적용하여 각 뷰를 메모리에 저장된 전역 맥락과 정렬함으로써 정렬 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 적응형 메모리 기반 기법이 학습 기반 시각 옹도메트리에서 장기적 일관성 향상과 오차 누적 감소에 기여하는가?
• RQ2 저장된 전역 맥락을 활용한 공간-시간 주의 메커니즘이 이전 자세 추정치를 정밀화하는 데 얼마나 효과적인가?
• RQ3 제안된 프레임워크가 표준 벤치마크에서 최신 학습 기반 VO 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 텍스처가 없는 영역이나 급격한 카메라 운동이 발생하는 어려운 조건에서도 모델이 높은 정확도를 유지할 수 있는가?
• RQ5 개별 구성 요소인 메모리와 정밀화 모듈이 전체 성능에 기여하는 정도는 어떻게 되며, 특히 분석 모델과의 비교에서 어떤가?

주요 결과

• 제안된 방법은 KITTI 및 TUM-RGBD 벤치마크에서 최신 학습 기반 VO 모델을 모두 초월하며, 대부분의 시퀀스에서 이동 거리의 평균 제곱근 오차(RMSE)가 낮게 나타났다.
• TUM-RGBD 데이터셋에서 fr3/nstr_tex_near_loop 시퀀스에서는 이동 거리 RMSE가 0.010 m로, ORB-SLAM2 및 DSO보다 텍스처가 부족하거나 운동이 어려운 상황에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 메모리 및 정밀화 구성 요소가 모두 필수적임을 확인: 시간적 또는 공간적 주의를 제거하면 특히 어려운 시퀀스에서 성능이 크게 떨어졌다.
• ORB-SLAM2 및 DSO와 같은 전통적인 단안 시각 옹도메트리 시스템과도 경쟁 가능한 성능을 달성했으며, 특히 텍스처가 부족하거나 빠른 운동이 발생하는 장면에서 뛰어난 성능을 보였다.
• 공간-시간 주의 기반 정밀화 모듈은 이전 추정치를 반복적으로 정밀화함으로써 오차 전파를 줄였고, 더 안정적이고 정확한 궤적 추정을 가능하게 했다.
• 프레임워크는 우수한 일반화 능력을 보이며, 훈련 중에 볼 수 없었던 추가 KITTI 시퀀스에서도 높은 성능을 유지함으로써 도메인 이동에 대한 견고성을 입증했다.