[논문 리뷰] Unsupervised Video Depth Estimation Based on Ego-motion and Disparity Consensus

Lingtao Zhou, Jiaojiao Fang외 1명|arXiv (Cornell University)|2019. 09. 03.

Advanced Vision and Imaging참고 문헌 23인용 수 4

한 줄 요약

이 논문은 왼쪽-오른쪽 시차 일致성과 시점 합성 손실을 통합하여 깊이 및 자가 운동 추정을 향상시키는 비지도 단일 영상 깊이 추정 방법을 제안한다. 시간적 및 스테레오 일치성과 에지 인식 스무딩 정규화를 활용하여, 기준 방법이 요구하는 학습 데이터의 60%만으로도 경쟁적인 성능을 달성하며, KITTI 및 Make3D 데이터셋에서 일부 지도 학습 방법을 능가한다.

ABSTRACT

Unsupervised learning based depth estimation methods have received more and more attention as they do not need vast quantities of densely labeled data for training which are touch to acquire. In this paper, we propose a novel unsupervised monocular video depth estimation method in natural scenes by taking advantage of the state-of-the-art method of Zhou et al. which jointly estimates depth and camera motion. Our method advances beyond the baseline method by three aspects: 1) we add an additional signal as supervision to the baseline method by incorporating left-right binocular images reconstruction loss based on the estimated disparities, thus the left frame can be reconstructed by the temporal frames and right frames of stereo vision; 2) the network is trained by jointly using two kinds of view syntheses loss and left-right disparity consistency regularization to estimate depth and pose simultaneously; 3) we use the edge aware smooth L2 regularization to smooth the depth map while preserving the contour of the target. Extensive experiments on the KITTI autonomous driving dataset and Make3D dataset indicate the superiority of our algorithm in training efficiency. We can achieve competitive results with the baseline by only 3/5 times training data. The experimental results also show that our method even outperforms the classical supervised methods that using either ground truth depth or given pose for training.

연구 동기 및 목표

• 밀도 있는 깊이 애너테이션을 필요로 하지 않는 단일 영상 비디오 깊이 추정을 위한 자기 지도 방법을 개발한다.
• 스테레오 일치성과 시점 합성 손실을 통합하여 학습 효율성과 깊이 추정 정확도를 향상시킨다.
• 비라벨된 영상 시퀀스를 활용하여 대규모 라벨된 데이터셋에 대한 의존도를 줄인다.
• 에지 인식 정규화를 통해 깊이 맵의 경계를 유지하면서 깊이 예측을 스무딩한다.
• 기존 지도 학습 방법과 비교해도 성능이 유사하거나 뛰어나며, 학습 데이터의 일부분만으로도 성능을 달성한다.

제안 방법

• 제우 등이 제안한 비지도 깊이 추정 프레임워크를 확장하여, 추정된 시차 기반의 왼쪽-오른쪽 이목시각 재구성 손실을 도입한다.
• 시간 프레임에서의 시점 합성 손실과 스테레오 시차 일치성에서의 시점 합성 손실을 함께 최적화하여 깊이 및 자가 운동을 추정한다.
• 예측된 왼쪽-오른쪽 시점 간의 시차가 대칭적이고 일관되도록 하는 시차 일치 정규화 항을 도입한다.
• 에지 인식 스무딩 L2 정규화를 적용하여 객체 경계를 유지하면서 깊이 맵을 스무딩한다.
• 광학 일치성과 스테레오 일치성을 근거로 한 감독 신호를 활용하여, 비라벨 영상 시퀀스를 통해 네트워크를 엔드 투 엔드로 학습시킨다.
• 단일 영상 시퀀스와 스테레오 이미지 쌍을 모두 활용하여 깊이 추정의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 스테레오 일치성과 시점 합성 손실은 단일 영상 시퀀스에서 비지도 깊이 추정 성능을 향상시키는가?
• RQ2 왼쪽-오른쪽 시차 일치성을 통합할 경우 깊이 맵 품질과 학습 수렴 속도에 어떤 영향을 미치는가?
• RQ3 지도 학습 기준 방법과 비교해 성능을 유지하거나 향상시키기 위해 얼마나 적은 학습 데이터로도 가능할까?
• RQ4 에지 인식 정규화가 객체 경계에서의 깊이 맵 정확도를 향상시키는가?
• RQ5 지상 진짜 깊이 감독 없이도 비지도 방법이 지도 학습 방법과 유사하거나 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 기준 비지도 방법이 요구하는 학습 데이터의 60%만으로도 경쟁적인 깊이 추정 성능을 달성한다.
• KITTI 데이터셋에서, 지상 진짜 깊이 또는 알려진 자가 운동을 사용하는 몇몇 전통적인 지도 학습 깊이 추정 방법을 뛰어넘는 성능을 보였다.
• 스테레오 일치성과 시점 합성 손실을 추가함으로써 일반화 능력이 향상되고 수렴 속도가 빨라졌다.
• 에지 인식 스무딩 정규화가 노이즈를 줄이고 매끄러운 영역에서는 스무딩을 하면서도 날카로운 경계를 유지함으로써 깊이 맵 품질을 크게 향상시켰다.
• 시간적 및 스테레오 시점 합성 손실의 조합으로 인해 시퀀스 전반에 걸쳐 더 정확하고 일관된 깊이 예측이 가능해졌다.
• 최소한의 감독으로 KITTI 및 Make3D 벤치마크에서 비지도 방법 중 최고 성능을 달성했다.