[논문 리뷰] GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose

Zhichao Yin, Jianping Shi|arXiv (Cornell University)|2018. 03. 06.

Advanced Vision and Imaging참고 문헌 39인용 수 122

한 줄 요약

GeoNet은 비지도学习 기하 기반 프레임워크에서 영상으로부터 단안 깊이, 광류(오클로메트릭 플로우), 그리고 자가운동을 공동으로 학습하며, 동적 영역과 가려짐을 처리하기 위해 2단계 계단식 구조와 적응 기하 일관성을 사용합니다. KITTI에서 비지도 방법 중 최첨단 성능을 달성하고, 지도 학습 접근법과 견줄 만한 성능을 보여줍니다.

ABSTRACT

We propose GeoNet, a jointly unsupervised learning framework for monocular depth, optical flow and ego-motion estimation from videos. The three components are coupled by the nature of 3D scene geometry, jointly learned by our framework in an end-to-end manner. Specifically, geometric relationships are extracted over the predictions of individual modules and then combined as an image reconstruction loss, reasoning about static and dynamic scene parts separately. Furthermore, we propose an adaptive geometric consistency loss to increase robustness towards outliers and non-Lambertian regions, which resolves occlusions and texture ambiguities effectively. Experimentation on the KITTI driving dataset reveals that our scheme achieves state-of-the-art results in all of the three tasks, performing better than previously unsupervised methods and comparably with supervised ones.

연구 동기 및 목표

• 단안 비디오에서Ground-truth 라벨 없이 3D 씬 기하를 학습하는 것을 동기화합니다.
• 장면의 움직임을 강체(깊이+자전이동)와 비강체(물체 움직임) 구성으로 분해합니다.
• 가려짐과 비Lambertian 영역에 강건하게 작용하도록 기하학적 일관성을 강제합니다.
• 비지도 깊이, 흐름, 자세 추정을 향상시키기 위해 엔드-투-엔드의 2단계 아키텍처를 제안합니다.
• KITTI에서 지도 학습 방법과 경쟁하는 성능을 보여줍니다.

제안 방법

• 먼저 강체 구조 재구성기(DepthNet + PoseNet)로 깊이와 카메라 모션을 추정하여 강체 흐름을 생성하는 2단계 계단식 아키텍처.
• 합성 뷰를 목표 프레임과 비교하는 엔드-투-엔드 미분 가능 뷰 합성 손실(SSIM과 L1을 결합한 광학적 손실)을 사용합니다.
• 질감이 없는 영역에서 깊이를 매끄럽게 하되 세부를 보존하기 위한 에지-의식적 깊이 스무딩 손실.
• 전방-후방 일관성을 모방하는 적응 기하 일관성 손실로, 가려짐과 비Lambertian 효과를 완화하기 위해 비가려진 영역에서만 일관성을 강제합니다.
• 손실 합 L은 스케일과 프레임 페어의 합으로 L_rw + lambda_ds*L_ds + L_fw + lambda_fs*L_fs + lambda_gc*L_gc 를 합친 형태입니다.

실험 결과

연구 질문

• RQ1 단안 깊이, 광류 및 자가운 motion을 비지도 방식으로 영상에서 공동으로 학습할 수 있는가?
• RQ2 정적 및 동적 구성 요소를 어떻게 분리하고 활용하여 가려짐과 비Lambertian 영역에 대한 강건성을 높일 수 있는가?
• RQ3 적응 기하 일관성을 강제하는 것이 비지도 학습에서 깊이, 흐름, 자세 예측의 질을 향상시키는가?
• RQ4 KITTI에서 2단계 아키텍처(강체 구조 대 비강체 모션)의 트레이드오프와 성능 향상은 무엇인가?

주요 결과

• GeoNet은 깊이, 흐름, 카메라 자세 추정에 대해 KITTI에서 비지도 방법 중 최첨단 결과를 달성합니다.
• 두 단계의 아키텍처(DepthNet + PoseNet, 그다음 ResFlowNet)가 강체 및 비강체 모션을 효과적으로 분해하여 전체 예측을 개선합니다.
• 적응 기하 일관성 손실은 비가려짐 영역에서의 예측 일관성 강제를 선택적으로 적용함으로써 가려짐과 질감의 모호성에 대한 강건성을 향상시킵니다.
• KITTI에서 GeoNet의 비지도 깊이 추정과 자세 추정은 지도 학습 접근법과 경쟁하며, 흐름 결과는 이전의 비지도 기준을 능가합니다.
• 실험으로 기하학적 일관성과 잔류 흐름이 동적 객체 및 도전 영역(가려짐, 조명)에서의 처리에 중요한 역할을 한다는 점이 확인됩니다.