[논문 리뷰] A Deeper Insight into the UnDEMoN: Unsupervised Deep Network for Depth and Ego-Motion Estimation

V. Madhu Babu, Anima Majumder외 2명|arXiv (Cornell University)|2018. 08. 27.

Advanced Vision and Imaging참고 문헌 3인용 수 6

한 줄 요약

이 논문은 공간적 및 시간적 재구성 손실을 조합한 새로운 목적 함수와 캐르보니에 페널티를 사용하여 단일 영상에서 조밀한 깊이 맵과 6-자유도 자가 운동을 동시에 추정하는 비지도 딥 러닝 프레임워크인 UnDEMoN을 제안한다. 이 방법은 굵은-세밀한 훈련 전략을 사용하지 않아도 KITTI 데이터셋에서 최신 기준 성능을 달성하며, 통합된 투과성 및 자세 네트워크 아키텍처를 통해 척도 인식 가능한 깊이 및 자세 추정을 가능하게 한다.

ABSTRACT

This paper presents an unsupervised deep learning framework called UnDEMoN for estimating dense depth map and 6-DoF camera pose information directly from monocular images. The proposed network is trained using unlabeled monocular stereo image pairs and is shown to provide superior performance in depth and ego-motion estimation compared to the existing state-of-the-art. These improvements are achieved by introducing a new objective function that aims to minimize spatial as well as temporal reconstruction losses simultaneously. These losses are defined using bi-linear sampling kernel and penalized using the Charbonnier penalty function. The objective function, thus created, provides robustness to image gradient noises thereby improving the overall estimation accuracy without resorting to any coarse to fine strategies which are currently prevalent in the literature. Another novelty lies in the fact that we combine a disparity-based depth estimation network with a pose estimation network to obtain absolute scale-aware 6 DOF Camera pose and superior depth map. The effectiveness of the proposed approach is demonstrated through performance comparison with the existing supervised and unsupervised methods on the KITTI driving dataset.

연구 동기 및 목표

• 라벨이 없는 데이터에 의존하지 않고 단일 영상에서 깊이 및 자가 운동 추정을 위한 비지도 딥 러닝 프레임워크를 개발하는 것.
• 기존 방법들이 사용하는 굵은-세밀한 훈련 전략으로 인해 복잡도가 증가하고 오류가 누적되는 문제를 해결하는 것.
• 다양분기 가능한 이중선형 샘플링 커널을 사용하여 공간적 및 시간적 재구성 손실을 동시에 최소화함으로써 추정 정확도를 향상시키는 것.
• 통합된 아키텍처에서 깊이 기반의 투과성과 자세 추정 네트워크를 결합하여 척도 인식 가능한 6-자유도 카메라 자세 추정을 가능하게 하는 것.
• 손실 함수에 캐르보니에 페널티를 도입하여 영상 기울기 노이즈에 대한 강건성을 향상시키는 것.

제안 방법

• 프레임워크는 단일 영상 쌍에서 특징을 추출하기 위해 공유된 인코더-디코더 아키텍처를 사용한다.
• 예측된 깊이 및 자세에 기반하여 영상을 왜곡하기 위해 이중선형 샘플링 커널을 사용하여 공간적 및 시간적 재구성 손실을 계산한다.
• 캐르보니에 페널티를 사용하여 손실 함수를 정규화함으로써 기울기 노이즈에 대한 민감도를 감소시킨다.
• 엔드 투 엔드 비지도 훈련 방식을 통해 깊이 예측과 6-자유도 카메라 자세를 동시에 최적화한다.
• 투과성 기반 깊이 네트워크와 자세 추정 네트워크를 통합하여 절대 척도 인식 가능한 깊이 및 자세 출력을 생성한다.
• 강건한 손실 정규화를 통해 굵은-세밀한 정밀 조정을 피하고 단일 단계, 다양한 최적화 프로세스를 사용한다.

실험 결과

연구 질문

• RQ1 단일 단계 비지도 딥 네트워크가 단일 영상에서 조밀한 깊이와 6-자유도 자가 운동을 뛰어난 정확도로 동시에 추정할 수 있는가?
• RQ2 공간적 및 시간적 재구성 손실을 결합함으로써 개별 손실 구성 요소에 비해 추정의 강건성이 어떻게 향상되는가?
• RQ3 영상 기울기 노이즈가 존재할 경우 캐르보니에 페널티가 성능 향상에 어느 정도 기여하는가?
• RQ4 감독 학습이나 굵은-세밀한 정밀 조정 없이도 척도 인식 가능한 6-자유도 자세 추정이 가능할 수 있는가?
• RQ5 기본 기준 벤치마크인 KITTI에서 제안된 방법은 최신 기준의 감독 및 비지도 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 UnDEMoN 프레임워크는 비지도 단일 영상 깊이 및 자가 운동 추정 분야에서 KITTI 벤치마크에서 최신 기준 성능을 달성한다.
• 캐르보니에 정규화된 목적 함수를 사용하여 공간적 및 시간적 재구성 손실을 동시에 최소화함으로써 기존 비지도 방법보다 뛰어난 성능을 내는 데 성공했다.
• 이중선형 샘플링 커널의 사용은 다양한 최적화 가능한 영상 왜곡을 가능하게 하여 깊이 및 자세 네트워크의 엔드 투 엔드 훈련에 필수적인 요소가 되었다.
• 굵은-세밀한 훈련 전략에 의존하지 않아도 강건한 성능을 달성하여 복잡도와 오류 누적가를 감소시켰다.
• 절대 척도 인식 가능한 6-자유도 자세 추정과 깊이 추정을 비지도 환경에서 성공적으로 통합적으로 실현했다.
• KITTI 데이터셋에서의 정량적 결과는 기존 비지도 방법에 비해 깊이 추정 및 자세 추정의 정확도가 뛰어나다는 것을 확인했다.