[논문 리뷰] D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry

Nan Yang, Lukas von Stumberg외 2명|arXiv (Cornell University)|2020. 03. 02.

Advanced Vision and Imaging참고 문헌 85인용 수 33

한 줄 요약

D3VO는 깊은 깊이, 자세, 불확실성 예측을 단안 직접 VO 파이프라인에 통합하여 외부 깊이 감독 없이 KITTI와 EuRoC에서 최첨단 성능을 달성합니다.

ABSTRACT

We propose D3VO as a novel framework for monocular visual odometry that exploits deep networks on three levels -- deep depth, pose and uncertainty estimation. We first propose a novel self-supervised monocular depth estimation network trained on stereo videos without any external supervision. In particular, it aligns the training image pairs into similar lighting condition with predictive brightness transformation parameters. Besides, we model the photometric uncertainties of pixels on the input images, which improves the depth estimation accuracy and provides a learned weighting function for the photometric residuals in direct (feature-less) visual odometry. Evaluation results show that the proposed network outperforms state-of-the-art self-supervised depth estimation networks. D3VO tightly incorporates the predicted depth, pose and uncertainty into a direct visual odometry method to boost both the front-end tracking as well as the back-end non-linear optimization. We evaluate D3VO in terms of monocular visual odometry on both the KITTI odometry benchmark and the EuRoC MAV dataset.The results show that D3VO outperforms state-of-the-art traditional monocular VO methods by a large margin. It also achieves comparable results to state-of-the-art stereo/LiDAR odometry on KITTI and to the state-of-the-art visual-inertial odometry on EuRoC MAV, while using only a single camera.

연구 동기 및 목표

• 깊은 예측을 활용하여 깊이, 자세 및 불확실성에 기반한 견고한 단안 VO를 동기부여하고 가능하게 한다.
• 브라이트니스 정합 및 광도 불확실성으로 훈련된 스테레오 비디오를 사용한 자기(supervised) 깊이/pPose 네트워크를 개발한다.
• 깊은 깊이, 자세 및 불확실성을 직접 VO 프레임워크에 통합하여 프론트 엔드 추적 및 백 엔드 최적화를 개선한다.
• KITTI Odometry와 EuRoC MAV에서 D3VO를 평가하여 스테레오/ LiDAR 및 VIO 방식과의 경쟁력 있는 성능을 보여준다.

제안 방법

• 깊이 D, 상대 자세 T, 광도 불확실성 Sigma를 예측하는 자기 감독 DepthNet과 PoseNet을 제안한다.
• 훈련 프레임 간 조명을 정렬하기 위해 어 affine 밝기 변환 매개변수를 도입한다.
• 픽셀 단위 광도 불확실성을 애로틱(aleatoric) 불확실성으로 모델링하여 훈련 및 VO 최적화의 잔차에 가중치를 부여한다.
• 가상 스테레오 항과 자세 에너지 항을 희소 광도 번들 조정 프레임워크에 통합한다.
• 네트워크 예측을 기하학적 척도 초기화, 자세 우선 순위, 에너지 함수의 가중치로 사용하여 추적과 최적화를 안내한다.]
• research_questions）：[]
• research_questions":["자기 감독 단안 네트워크가 스테레로 감독으로부터 거리 척도(metric scale)를 예측하고 직접 파이프라인에 통합되었을 때 VO를 개선할 수 있는가?","예측된 깊이, 자세 및 광도 불확실성을 통합하는 것이 단안 VO의 프론트 엔드 추적 및 백 엔드 최적화를 향상시키는가?","깊이/불확실성/pPose의 통합이 KITTI 및 EuRoC에서 최첨단 단안, 스테레오 및 VIO 방식과 비교하여 어떤 차이를 보이는가?]
• key_findings":["빛 정렬 및 광도 불확실성 있는 자기 감독 네트워크가 KITTI Eigen 깊이 평가에서 Monodepth2를 능가한다.","D3VO는 KITTI Odometry 테스트 시퀀스에서 단안 VO의 최첨단 결과를 달성하며 다수의 단안 베이스라인을 능가하고 스테레오/LiDAR 성능에 근접하다.","EuRoC MAV에서 D3VO는 경쟁력 있는 단안 VO 결과와 견고함을 제공하며 엔드-투-엔드 및 하이브리드 접근에 근접하다.","깊은 깊이, 깊은 자세, 깊은 불확실성을 포함하면 ablated 변형(Dd, Dp, Du)에 비해 상당한 이득이 있다.","이 방법은 EuRoC에서 상태-of-the-art VIO 방식과 비교할 만한 성능을 달성하는 한편 단일 카메라만 사용한다."]
• table_headers":["01","02","06","08","09","10","평균"],
• table_rows":[["M DSO","9.17","114","42.2","177","28.1","24.0","65.8"],["D3VO","1.07","0.80","0.67","1.00","0.78","0.62","0.82"],["S LSD","2.13","1.09","1.28","1.24","1.22","0.75","1.29"],["ORB2","1.38","0.81","0.82","1.07","0.82","0.58","0.91"],["S DSO","1.43","0.78","0.67","0.98","0.98","0.49","0.89"],["Dd","1.16","0.84","0.71","1.01","0.82","0.73","0.88"],["Dd+Dp","1.15","0.84","0.70","1.03","0.80","0.72","0.87"],["Dd+Du","1.10","0.81","0.69","1.03","0.78","0.62","0.84"],["D3VO (best mono)","1.07","0.80","0.67","1.00","0.78","0.62","0.82"]]} }]}</generatedreview>}{

실험 결과

연구 질문

• RQ1 Can a self-supervised monocular network predict depth with metric scale from stereo supervision and improve VO when integrated into a direct pipeline?
• RQ2 Does incorporating predicted depth, pose, and photometric uncertainty improve front-end tracking and back-end optimization for monocular VO?
• RQ3 How does depth/uncertainty/pPose integration compare to state-of-the-art monocular, stereo, and VIO methods on KITTI and EuRoC?

주요 결과

• The self-supervised network with brightness alignment and photometric uncertainty outperforms Monodepth2 on KITTI Eigen depth evaluation.
• D3VO achieves state-of-the-art monocular VO results on KITTI Odometry test sequences, outperforming many monocular baselines and approaching stereo/LiDAR performance.
• On EuRoC MAV, D3VO delivers competitive monocular VO results and robustness, closely matching end-to-end and hybrid approaches.
• Incorporating deep depth, deep pose, and deep uncertainty yields substantial gains over ablated variants (Dd, Dp, Du).
• The method attains comparable performance to state-of-the-art VIO methods on EuRoC while using only a single camera.