[논문 리뷰] Deep Patch Visual Odometry

Zachary Teed, Lahav Lipson외 1명|arXiv (Cornell University)|2022. 08. 08.

Robotics and Sensor-Based Localization인용 수 40

한 줄 요약

DPVO는 differentiable bundle adjustment를 갖춘 희소 패치 기반의 순환 네트워크를 단안 시각 주행에 도입하여, 이전 방법들보다 메모리 사용을 크게 줄이고 실행 속도가 빨라지면서도 최첨단 정확도를 달성합니다.

ABSTRACT

We propose Deep Patch Visual Odometry (DPVO), a new deep learning system for monocular Visual Odometry (VO). DPVO uses a novel recurrent network architecture designed for tracking image patches across time. Recent approaches to VO have significantly improved the state-of-the-art accuracy by using deep networks to predict dense flow between video frames. However, using dense flow incurs a large computational cost, making these previous methods impractical for many use cases. Despite this, it has been assumed that dense flow is important as it provides additional redundancy against incorrect matches. DPVO disproves this assumption, showing that it is possible to get the best accuracy and efficiency by exploiting the advantages of sparse patch-based matching over dense flow. DPVO introduces a novel recurrent update operator for patch based correspondence coupled with differentiable bundle adjustment. On Standard benchmarks, DPVO outperforms all prior work, including the learning-based state-of-the-art VO-system (DROID) using a third of the memory while running 3x faster on average. Code is available at https://github.com/princeton-vl/DPVO

연구 동기 및 목표

• 무거운 고밀도 흐름 계산 없이 강건한 단안 VO를 추구한다.
• 강건성을 유지하는 희소 패치 기반 표현을 개발한다.
• 엔드-투-엔드 학습을 위한 differentiable bundle adjustment를 갖춘 순환 업데이트 연산자를 설계한다.
• 선행 학습 기반 VO/SLAM 방법들에 비해 효율성과 정확도 향상을 입증한다.

제안 방법

• 장면을 이미지 패치의 집합과 패치 간 프레임을 연결하는 패치 그래프로 표현한다.
• 일치와 컨텍스트를 위해 매칭용과 컨텍스트용의 한 쌍 CNN을 사용하여 다중 스케일 패치 특징을 추출한다.
• 상관, 시계열 합성, 소프트 어그리제이션을 이용한 순환 업데이트 연산자로 패치 궤적을 정교하게 다듬는다.
• 인자 헤드를 통해 2D 궤적 수정과 신뢰도 가중치를 제안한다.
• differentiable bundle adjustment 계층으로 카메라 포즈와 패치 깊이를 최적화한다.
• 합성 데이터에서 포즈와 패치 유도 흐름에 대한 감독 신호로 엔드투엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 희소 패치 기반 매칭이 Dense-flow 딥 VO 방법의 정확도와 동등하거나 이를 능가할 수 있는가?
• RQ2 differentiable BA를 갖춘 순환 패치 기반 업데이트가 밀도형 접근법과 비교할 만큼의 강건함을 제공하는가, 아니면 더 우수한가?
• RQ3 DPVO가 DROID-SLAM과 같은 선행 방법에 비해 정확도, 속도, 메모리 사용을 어떻게 균형 있게 조정하는가?
• RQ4 패치 기반 설계 선택(패치 추출, 패치 수, 그래프 연결성)이 VO 성능에 미치는 영향은 무엇인가?

주요 결과

• DPVO는 여러 벤치마크(EuRoC, TUM-RGBD, TartanAir, ICL-NUIM)에서 이전 VO 방법들보다 평균 오차가 더 낮다.
• DPVO는 VO 모드에서 DROID-SLAM과 같은 이전 Dense-flow 방법보다 1.5–8.9배 빠르고 메모리도 57–29%를 사용한다.
• 60 FPS 버전은 약 4.9 GB 메모리, 120 FPS 버전은 RTX-3090에서 약 2.5 GB를 사용하며 비교적 안정적인 프레임레이트를 보인다.
• 업데이트 연산자와 differentiable BA를 갖춘 패치 기반 대응은 Dense flow 없이도 강한 강건성을 제공한다.
• 무작위 패치 중심점 선택이 잘 작동하며, 결손 분석(ablation)에서 패치 기반 특징과 업데이트 구성 요소의 중요성을 보여준다.