[논문 리뷰] Self-Supervised Learning of Depth and Ego-motion with Differentiable Bundle Adjustment

Yunxiao Shi, Jing Zhu외 3명|arXiv (Cornell University)|2019. 09. 28.

Advanced Vision and Imaging참고 문헌 61인용 수 9

한 줄 요약

이 논문은 특징-메트릭 오차 최소화를 통해 다중시점 기하 구속 조건을 강제하는 가분성 있는 배치 조정(BA) 레이어를 사용하여 단안 영상에서의 깊이 및 자가 운동 추정을 위한 자기지도 학습 방법을 제안한다. 광학 일致성 손실로 훈련된 엔드 투 엔드 네트워크에 가분성 있는 BA를 통합함으로써, KITTI 및 Cityscapes에서 최신 기준(SOTA) 성능을 달성하였으며, 단안 자기지도 학습 방법뿐 아니라 스테레오 기반 지도 학습 방법보다도 뛰어난 성능을 보였다.

ABSTRACT

Learning to predict scene depth and camera motion from RGB inputs only is a challenging task. Most existing learning based methods deal with this task in a supervised manner which require ground-truth data that is expensive to acquire. More recent approaches explore the possibility of estimating scene depth and camera pose in a self-supervised learning framework. Despite encouraging results are shown, current methods either learn from monocular videos for depth and pose and typically do so without enforcing multi-view geometry constraints between scene structure and camera motion, or require stereo sequences as input where the ground-truth between-frame motion parameters need to be known. In this paper we propose to jointly optimize the scene depth and camera motion via incorporating differentiable Bundle Adjustment (BA) layer by minimizing the feature-metric error, and then form the photometric consistency loss with view synthesis as the final supervisory signal. The proposed approach only needs unlabeled monocular videos as input, and extensive experiments on the KITTI and Cityscapes dataset show that our method achieves state-of-the-art results in self-supervised approaches using monocular videos as input, and even gains advantage to the line of methods that learns from calibrated stereo sequences (i.e. with pose supervision).

연구 동기 및 목표

• 라벨이 없는 단안 영상에서 지도 학습 없이 깊이 및 자가 운동을 학습하는 데 도전하는 것.
• 자기지도 학습 프레임워크 내에서 3차원 환경 구조와 카메라 운동 간의 다중시점 기하 일致성을 강제하는 것.
• 장면 구조 및 운동에서 유도된 오차를 역전파할 수 있도록 가분성 있는 BA를 통합함으로써 Structure-from-Motion(SfM) 작업의 특징 학습을 향상시키는 것.
• 지상 진동 자세 지도 학습에 의존하는 스테레오 기반 방법과 경쟁 가능한 성능을 달성하는 것.

제안 방법

• 다중시점 영상 특징 간의 특징-메트릭 오차를 최소화함으로써 깊이 및 카메라 자세를 동시에 최적화하는 가분성 있는 배치 조정(BA) 레이어를 사용한다.
• 레벤버그-마르카르트 알고리즘의 비가분성 있는 논리 요소를 제거하기 위해 반복 횟수를 고정하고, 다층 퍼셉트론(MLP)을 사용해 덤프링 인자 λ를 예측함으로써 BA 레이어를 가분성 있게 만든다.
• 공유 인코더에서 추출된 영상 특징을 가분성 있는 BA 레이어의 입력으로 사용하며, 이 레이어는 최적화된 픽셀 단위 깊이 및 카메라 운동을 위한 4×4 변환 행렬을 출력한다.
• 최적화된 깊이 및 자세를 사용하여 가분성 있는 영상 워핑을 통해 광학 일치성 손실을 구성함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• 라벨이 없는 데이터만을 사용하여 단안 영상 시퀀스로 네트워크를 훈련하며, 지상 진동 깊이 또는 자세 데이터가 필요하지 않다.
• 카메라 내부 매개변수를 알고 있다는 전제이지만, 레이블이 있는 깊이 또는 자세 데이터가 필요하지 않아 완전한 자기지도 학습이 가능하다.

실험 결과

연구 질문

• RQ1 가분성 있는 배치 조정이 다중시점 기하 제약 조건을 강제함으로써 단안 영상에서의 자기지도 학습 깊이 및 자가 운동 추정 성능을 향상시킬 수 있는가?
• RQ2 특징-메트릭 BA를 통합할 경우 광학 일치성 또는 기하 기반 BA에 비해 특징 학습 및 성능 측면에서 어떤 차이가 있는가?
• RQ3 자기지도 학습 단안 방법이 지상 진동 자세 지도 학습에 의존하는 스테레오 기반 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 가분성 있는 BA 레이어가 3차원 환경 구조 및 운동 추정을 위한 특징 표현을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 KITTI 2015 및 Cityscapes 벤치마크에서 자기지도 학습 단안 방법 중 최고 성능(SOTA)을 달성하였다.
• KITTI 오도메트리 스플릿에서, 시퀀스 09에서는 절대 궤적 오차(ATE)가 0.012 ± 0.007을 기록하였고, 시퀀스 10에서는 0.011 ± 0.007을 기록하여 ORB-SLAM(short)를 초월하고 전체 ORB-SLAM과 동등한 성능을 보였다.
• 이 방법은 이전의 비지도 단안 접근법을 일관되게 능가하며, 일부 지상 진동 자세 지도 학습을 사용하는 스테레오 기반 방법조차도 뛰어넘었다.
• 정성적 결과에서는 움직이는 물체가 있는 다이나믹한 환경에서도 기둥이나 도로 표지판과 같은 얇은 구조물의 예측이 견고하게 이루어지는 것으로 나타났다.
• Cityscapes에서 훈련된 모델을 KITTI에 대해 미세조정함으로써 성능 향상이 이루어졌으며, 이는 도메인 간 강력한 일반화 능력을 보여주었다.
• 가분성 있는 BA 레이어 덕분에 기하 제약 조건이 효과적으로 역전파되어 더 나은 특징 학습과 함께 깊이 및 자세 추정 성능 향상이 이루어졌다.