[논문 리뷰] CNN-SVO: Improving the Mapping in Semi-Direct Visual Odometry Using Single-Image Depth Prediction

Shing Yan Loo, Ali Amiri외 3명|arXiv (Cornell University)|2018. 10. 01.

Robotics and Sensor-Based Localization참고 문헌 14인용 수 8

한 줄 요약

이 논문은 깊이 신경망에서 단일 이미지의 깊이 예측을 활용하여 지apoint 초기화 시 깊이 불확실성을 낮추는 CNN-SVO를 제안한다. 예측된 깊이를 평균으로, 작은 분산을 사용해 깊이 불확실성이 낮은 지점으로 지점 초기화를 통해 오류 있는 특징 매칭을 줄이고 진짜 깊이로의 수렴 속도를 높여, 특히 어두운 조명 조건에서 더 견고하고 정확한 카메라 추적을 가능하게 한다.

ABSTRACT

Reliable feature correspondence between frames is a critical step in visual odometry (VO) and visual simultaneous localization and mapping (V-SLAM) algorithms. In comparison with existing VO and V-SLAM algorithms, semi-direct visual odometry (SVO) has two main advantages that lead to state-of-the-art frame rate camera motion estimation: direct pixel correspondence and efficient implementation of probabilistic mapping method. This paper improves the SVO mapping by initializing the mean and the variance of the depth at a feature location according to the depth prediction from a single-image depth prediction network. By significantly reducing the depth uncertainty of the initialized map point (i.e., small variance centred about the depth prediction), the benefits are twofold: reliable feature correspondence between views and fast convergence to the true depth in order to create new map points. We evaluate our method with two outdoor datasets: KITTI dataset and Oxford Robotcar dataset. The experimental results indicate that the improved SVO mapping results in increased robustness and camera tracking accuracy.

연구 동기 및 목표

• 지점 초기화 시 깊이 불확실성이 높아 잘못된 특징 대응을 유도하는 SVO의 한계를 해결한다.
• 다양한 조명 조건에서 반추시적 시각 추적의 견고성과 정확도를 향상시킨다.
• 딥 러닝 기반의 단일 이미지 깊이 예측을 활용해 지점 초기화에 정확한 깊이 사전 지식을 제공한다.
• 깊이 불확실성을 제한함으로써 특징 매칭의 검색 범위를 줄여 매칭 신뢰도를 향상시킨다.
• KITTI 및 옥스포드 로봇카와 같은 도전적인 외부 데이터셋에서 고정밀도를 유지하면서 실시간 성능을 구현한다.

제안 방법

• 스테레오 데이터셋에서 사전 훈련된 단일 이미지 깊이 예측 네트워크를 통합하여 키프레임의 깊이 맵을 추정한다.
• 예측된 깊이를 지점 초기화의 평균으로 사용하고, 낮은 깊이 불확실성을 나타내기 위해 작은 분산을 설정한다.
• 다중 시점에서의 관측 기반으로 깊이 추정치를 업데이트하기 위해 맵핑 스레드에서 확률적 깊이 필터를 적용한다.
• 특징 매칭의 검색 범위를 예측된 깊이 중심의 깊이 간격으로 제한하여 잘못된 매칭을 줄인다.
• 새로운 키프레임이 추가될 때 국소 백터 조정(BA)을 적용하여 카메라 자세와 지점을 정밀하게 보정한다.
• 특히 옥스포드 로봇카 데이터셋에서 실제 자세가 제공될 경우 깊이 예측에 스케일 보정을 적용한다.

실험 결과

연구 질문

• RQ1 단일 이미지 깊이 예측이 SVO의 지점 초기화 단계에서 깊이 불확실성을 줄여 더 신뢰할 수 있는 특징 대응을 가능하게 할 수 있는가?
• RQ2 딥 러닝 기반의 깊이 사전 지식이 지점 깊이 추정의 수렴 속도와 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 과노출 또는 과소노출과 같은 도전적인 조명 조건에서 카메라 추적의 견고성을 어느 정도 향상시키는가?
• RQ4 실제 외부 데이터셋에서 깊이 예측 불확실성이 시각 추적의 전체 성능에 어떤 영향을 미치는가?
• RQ5 깊이 사전 지식 통합이 고프레임레트 시퀀스에서 실시간 동작을 유지하면서도 높은 정확도를 확보할 수 있는가?

주요 결과

• CNN-SVO는 표준 SVO에 비해 KITTI 및 옥스포드 로봇카 데이터셋 모두에서 더 높은 견고성과 카메라 추적 정확도를 달성한다.
• 지점 초기화 단계에서 깊이 불확실성을 줄여 진짜 깊이 값으로의 수렴 속도를 빠르게 한다.
• KITTI 데이터셋에서 오도메트리 출력의 스케일은 시퀀스 전반에 걸쳐 0.921에서 1.1876 사이로 절대 스케일에 매우 가까운 편이다.
• 옥스포드 로봇카 데이터셋에서는 스케일 보정을 적용한 후 스케일이 0.8953에서 0.9737 사이로 실제값과 합리적으로 일치함을 보여준다.
• 국소 BA와 깊이 예측의 계산 비용이 높아(각각 약 29ms 및 37ms)도 불구하고, CNN-SVO는 옥스포드 로봇카에서 16 FPS, KITTI에서 10 FPS로 실행되어 실시간 가능성은 입증되었다.
• 깊이 예측 네트워크의 조도 불변성 덕분에 CNN-SVO는 HDR 조건에서도 성능을 유지할 수 있었으며, 원래 SVO의 핵심 한계를 극복했다.