[논문 리뷰] Unsupervised Learning of Depth and Ego-Motion from Video

Tinghui Zhou, Matthew Brown외 2명|arXiv (Cornell University)|2017. 04. 25.

Advanced Vision and Imaging참고 문헌 47인용 수 222

한 줄 요약

엔드-투-엔드 비지도 프레임워크로, 라벨이 없는 비디오에서 단안(depth)과 카메라 자체 움직임(ego-motion)을 학습하기 위해 차별화 가능한 뷰-합성 손실로 학습하며, 픽셀당 깊이와 6-DoF 자세를 공동으로 예측하고 비정상 상황을 다루기 위해 설명 가능성 마스크를 사용합니다.

ABSTRACT

We present an unsupervised learning framework for the task of monocular depth and camera motion estimation from unstructured video sequences. We achieve this by simultaneously training depth and camera pose estimation networks using the task of view synthesis as the supervisory signal. The networks are thus coupled via the view synthesis objective during training, but can be applied independently at test time. Empirical evaluation on the KITTI dataset demonstrates the effectiveness of our approach: 1) monocular depth performing comparably with supervised methods that use either ground-truth pose or depth for training, and 2) pose estimation performing favorably with established SLAM systems under comparable input settings.

연구 동기 및 목표

• Ground-truth depth 또는 pose 없이 라벨링되지 않은 비디오 시퀀스로부터 장면 기하학 및 카메라 움직임 학습을 자극한다.
• 픽셀을 깊이와 6-DoF 포즈로 매핑하는 엔드-투-엔드 CNN 프레임워크를 개발한다.
• 뷰 합성을 통한 감독으로 깊이와 포즈를 이미지 기반 차분 가능한 학습으로 지도한다.
• 오클루전, 비정상적 동적 현상 및 기타 모델링되지 않은 요인을 다루기 위해 설명 가능성 마스크를 도입하고 무의미한 마스크화를 피하기 위한 정규화 항을 포함한다.
• KITTI에서 깊이 추정과 자이모션을 감독 기반과 비교해 효과를 입증한다.

제안 방법

• 대상 뷰로부터 단일 뷰 깊이 네트워크를 사용해 픽셀당 깊이 맵을 예측한다.
• 대상 뷰와 인근 소스 뷰를 입력으로 받아 각 소스 뷰에 대한 상대 카메라 포즈를 예측하는 포즈 네트워크를 사용한다.
• 예측된 깊이와 포즈를 이용해 소스 뷰를 대상 프레임으로 워핑하여 차분 가능한 뷰 합성 손실을 계산한다.
• 차분 가능한 이미지 기반 렌더링을 빌려 양방선 보간으로 대상 뷰를 재구성하고 포즈 및 깊이 오류의 역전파를 가능하게 한다.
• 오류가 발생하기 쉬운 영역을 낮게 가중하는 설명 가능성 마스크를 도입하고 단순 마스킹을 피하기 위한 정규화 항을 포함한다.
• 깊이 매끄러움 제약과 다중 스케일 훈련으로 그래디언트 지역성 문제를 해결하고 그럴듯한 깊이 맵을 촉진한다.

실험 결과

연구 질문

• RQ1 단안 비디오가 Ground-truth 라벨 없이도 깊이와 자이모션을 공동으로 학습하기에 충분한 감독 신호를 제공하는가?
• RQ2 뷰 합성을 엔드-투-엔드로 학습 신호로 사용해 깊이와 포즈 네트워크를 어떻게 훈련시킬 수 있는가?
• RQ3 불확실성, 동적 개체, 비-Lambertian 효과 등에 대해 unsupervised 학습 중 어떤 메커니즘(예: 설명 가능성 마스크)이 필요한가?
• RQ4 표준 벤치마크인 KITTI에서 비지도 방식이 지도 기반 깊이/포즈 방법과 어떻게 비교되는가?

주요 결과

• 프레임워크가 KITTI에서 지도 학습 포즈나 깊이를 사용하는 지도 방법과 비교해도 경쟁력 있는 단일 뷰 깊이를 학습한다.
• 단안 시퀀스로부터의 포즈 추정이 입력 설정이 비슷할 때 기존의 SLAM 시스템과 우수하게 비교된다.
• 학습은 전적으로 비지도 방식으로 수행되며, 학습에 필요한 것은 단안 비디오 시퀀스뿐이다.
• 설명 가능성 마스크는 장면 동적 변화, 가림, 비-Lambertian 표면으로 인한 문제를 완화해 뷰 합성 감독의 강건성을 높이며, KITTI에서의 ablation은 제한적 이득을 보인다.
• 테스트 시 배치는 깊이 네트워크와 포즈 네트워크를 독립적으로 사용할 수 있도록 하며, 공동 학습의 이점을 유지한다.
• KITTI에서의 정성적·정량적 비교가 포함되며, 이 방법은 깊이에서 지도 기반에 근접하고 제약된 입력에서 자이모션은 SLAM 유사 성능에 근접한다.