[논문 리뷰] DFineNet: Ego-Motion Estimation and Depth Refinement from Sparse, Noisy Depth Input with RGB Guidance

Yilun Zhang, Ty Nguyen외 5명|arXiv (Cornell University)|2019. 03. 15.

Advanced Vision and Imaging참고 문헌 32인용 수 15

한 줄 요약

DFineNet는 RGB 가이던스를 사용하여 흩어진, 노이즈가 많은 깊이 입력을 동시에 보정하고 카메라 자가 운동을 종합적으로 추정하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 깊이 및 자세 네트워크를 함께 훈련시킴으로써 깊이 보완과 자세 추정 모두에서 뛰어난 성능을 달성하며, 특히 흩어진 깊이와 노이즈가 많은 조건에서 기존 최고 수준의 방법들을 능가하여 KITTI 및 TUM 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

Depth estimation is an important capability for autonomous vehicles to understand and reconstruct 3D environments as well as avoid obstacles during the execution. Accurate depth sensors such as LiDARs are often heavy, expensive and can only provide sparse depth while lighter depth sensors such as stereo cameras are noiser in comparison. We propose an end-to-end learning algorithm that is capable of using sparse, noisy input depth for refinement and depth completion. Our model also produces the camera pose as a byproduct, making it a great solution for autonomous systems. We evaluate our approach on both indoor and outdoor datasets. Empirical results show that our method performs well on the KITTI~\cite{kitti_geiger2012we} dataset when compared to other competing methods, while having superior performance in dealing with sparse, noisy input depth on the TUM~\cite{sturm12iros} dataset.

연구 동기 및 목표

• SWaP(크기, 무게, 전력 소모) 제약 조건 하에서 자율 주행 시스템에서 정확한 깊이 및 자가 운동 추정 문제를 해결하기 위해.
• RGB 및 흩어진, 노이즈가 많은 깊이 입력을 사용하여 깊이 및 자세 네트워크를 함께 훈련시킴으로써 깊이 보완 및 자세 추정을 향상시키기 위해.
• 기존 방법들이 깊이 및 자세 추정을 별도로 처리하거나 깊이 입력이 노이즈가 없는 것으로 가정하는 한계를 극복하기 위해.
• 노이즈가 많은 스테레오 카메라 및 흩어진 LiDAR를 포함한 다양한 깊이 센서에 대해 견고한 성능을 제공하기 위해.
• RGB와 깊이 간의 교차 모odal 감독을 통해 깊이 품질 향상과 자세 정확도 향상을 동시에 달성하는 통합 프레임워크 개발하기 위해.

제안 방법

• 프레임워크는 이중 분지형 컨볼루션 신경망을 사용한다: 하나의 분지는 깊이 예측을, 다른 하나는 RGB 이미지와 흩어진 깊이 입력에 조건부로 자가 운동(자세) 추정을 수행한다.
• 이중 가시성 깊이 보정 모듈을 도입하여 연속 프레임 간 기하학적 일관성을 활용해 흩어진, 노이즈가 많은 깊이 맵을 보정한다.
• 광학적 재구성 손실, 깊이 감독 손실, 자세 회귀 손실을 조합한 다중 작업 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 핵심 혁신은 깊이 및 자세의 공동 최적화로, 자세 추정이 깊이 보완을 안내하고 반대로 깊이 보완이 자세 추정을 향상시켜 견고성을 향상시킨다.
• 예측된 자세를 사용해 RGB 이미지를 왜곡한 후 재구성함으로써 깊이 예측을 감독하기 위해 가역성 왜곡 레이어를 사용한다.
• 일반화를 향상시키기 위해 훈련 중에 데이터 증강 및 노이즈 모델링을 통합한다.

실험 결과

연구 질문

• RQ1 깊이 보완과 자가 운동 추정을 함께 학습하면 별도의 접근 방식에 비해 두 작업 모두에서 성능 향상을 이룰 수 있는가?
• RQ2 저비용 스테레오 또는 ToF 센서에서 유래한 흩어지고 노이즈가 많은 깊이 입력이 주어졌을 때 모델은 어떻게 성능을 내는가?
• RQ3 RGB 및 깊이 감독을 통한 엔드 투 엔드 훈련은 깊이가 깨끗하고 밀도 있는 데이터로만 감독하는 방법보다 더 나은 일반화 성능을 보이는가?
• RQ4 어려운 조건에서 자세 정확도와 깊이 보완 품질 측면에서 기존 최고 수준의 방법들과 비교해 모델은 어떻게 성능을 내는가?
• RQ5 롤링 셔터 왜곡 및 낮은 무늬 환경 등의 실제 센서 제약 조건을 효과적으로 처리할 수 있는가?

주요 결과

• TUM RGBD 데이터셋에서 DFineNet는 비교된 방법들 중에서 가장 낮은 ATE(0.0101 m)와 RE(0.0021)를 기록했으며, Ma [13] 및 sfmlearner를 능가했다.
• 노이즈가 있는 입력에서의 깊이 보완 성능에서 DFineNet는 노이즈 훈련 시 RMSE 180.63, 노이즈 없이 훈련하고 노이즈가 있는 입력에서 테스트한 경우 779.58을 기록하여 노이즈 조건에서 Sfmlearner 및 Ma [13]를 크게 능가했다.
• TUM에서의 광학적 손실은 0.0369로 모든 방법들 중에서 가장 낮아 우수한 이미지 재구성 품질을 나타낸다.
• KITTI 데이터셋에서 DFineNet는 가장 낮은 광학적 손실(0.0726)을 기록했으며, 일부 기준보다는 높은 ATE와 RE를 기록했지만, 진정한 깊이 및 자세와의 보다 우수한 정렬을 나타낸다.
• 그림 4의 정성적 결과는 DFineNet가 무늬가 적은 영역에서 특히 더 밀도가 높고 정확도가 높은 깊이 맵을 생성하며 잡음이 적은 결과를 낸다.
• 제거 분석 결과는 노이즈가 있는 깊이 입력을 함께 훈련할 경우 더 뛰어난 견고성이 확보되며, 깨끗한 깊이로만 훈련된 모델는 노이즈가 있는 입력에서 실패함을 확인했다.