[논문 리뷰] SfMLearner++: Learning Monocular Depth & Ego-Motion using Meaningful Geometric Constraints

Vignesh Prasad, Brojeshwar Bhowmick|arXiv (Cornell University)|2018. 12. 20.

Advanced Vision and Imaging인용 수 6

한 줄 요약

SfMLearner++는 본질 행렬을 통한 에피포라 제약 조건을 통합하여 단안 깊이 및 자가 운동 추정을 위한 기하학적 제약이 가해진 학습 방법을 제안한다. 이는 복잡한 손실 함수나 대규모 네트워크 없이도 대응 정확도를 향상시킨다. 본 방법은 더 적은 파라미터로 최신 기술 수준의 성능을 달성하며, Cityscapes나 Make3D와 같은 새로운 데이터셋에 대해 뛰어난 일반화 성능을 보인다.

ABSTRACT

Most geometric approaches to monocular Visual Odometry (VO) provide robust pose estimates, but sparse or semi-dense depth estimates. Off late, deep methods have shown good performance in generating dense depths and VO from monocular images by optimizing the photometric consistency between images. Despite being intuitive, a naive photometric loss does not ensure proper pixel correspondences between two views, which is the key factor for accurate depth and relative pose estimations. It is a well known fact that simply minimizing such an error is prone to failures. We propose a method using Epipolar constraints to make the learning more geometrically sound. We use the Essential matrix, obtained using Nister's Five Point Algorithm, for enforcing meaningful geometric constraints on the loss, rather than using it as labels for training. Our method, although simplistic but more geometrically meaningful, using lesser number of parameters, gives a comparable performance to state-of-the-art methods which use complex losses and large networks showing the effectiveness of using epipolar constraints. Such a geometrically constrained learning method performs successfully even in cases where simply minimizing the photometric error would fail.

연구 동기 및 목표

• . 논문은 단순한 광학적 손실 최소화의 실패 케이스를 해결하여 단안 깊이 및 시각적 옹도메트리 추정을 향상시키는 것을 목표로 한다.
• . 명시적인 운동 마스크나 복잡한 손실 함수에 의존하지 않고 학습된 대응 관계의 기하학적 일관성을 향상시키고자 한다.
• . 본질 행렬을 활용하여 보다 단순하고 기하학적으로 의미 있는 학습 손실을 개발하는 것이 목적이다.
• . 대규모 네트워크나 계산 비용이 큰 손실 함수에 대한 의존도를 줄이면서 성능을 유지하거나 향상시키는 것이다.
• . 다이나믹 환경에서 설명 가능성 마스크의 필요성을 줄이거나 대체할 수 있는가를 조사한다.

제안 방법

• . 본 방법은 Nistér의 5점 알고리즘을 통해 계산된 본질 행렬을 사용하여 학습 중에 픽셀 대응 관계의 기하학적 일관성을 강제한다.
• . 본질 행렬을 지표로 사용하는 대신, 에피포라 정렬 기반으로 광학적 손실을 가중치를 적용하여 잘못된 대응 관계에 더 큰 벌점을 적용한다.
• . 손실 함수에 본질 행렬 기반의 에피포라 손실 항목을 추가하여, ˆ˜p^T E˜p에서의 편차를 최소화한다.
• . 깊이 경계를 유지하고 출력의 선명도를 향상시키기 위해 에지 인식 스무딩 손실을 적용한다.
• . 학습 안정성 향상과 깊이 분포 붕괴 방지를 위해 역깊이 정규화를 통합한다.
• . 최종 손실는 에피포라 제약 조건, 깊이 정규화 일관성, 에지 인식 스무딩을 결합하여 다양한 환경에서 견고한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 . 에피포라 제약 조건은 단안 깊이 및 자가 운동 추정을 위한 딥러닝에서 정규화 신호로 효과적으로 사용될 수 있는가?
• RQ2 . 본질 행렬을 동적 손실 가중치 메커니즘으로 사용할 경우, 기존 광학적 손실 대비 대응 정확도가 향상되는가?
• RQ3 . 더 적은 파라미터를 가진 단순한 모델이 복잡한 손실 함수와 큰 아키텍처를 사용하는 최신 기술 수준의 방법과 비교해도 성능을 유사하게 달성할 수 있는가?
• RQ4 . KITTI에서만 훈련된 모델이 Cityscapes나 Make3D와 같은 새로운 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ5 . 에피포라 기반의 감독은 다이나믹 환경에서 명시적인 운동 마스크 예측의 필요성을 줄이거나 제거할 수 있는가?

주요 결과

• . KITTI 테스트 스플릿에서 제안된 방법은 절대 상대 오차(Abs Rel) 0.175를 달성하여, 설명 가능성 마스크 없이 SfMLearner의 0.221을 초월한다.
• . RMSE는 SfMLearner의 7.527에서 5.986으로 감소하여 깊이 추정 정확도 향상이 뚜렷하게 나타난다.
• . 훈련 데이터에 대한 미세조정 없이도 Cityscapes에서 SfMLearner보다 더 선명한 깊이 출력을 생성하여 뛰어난 일반화 성능을 보인다.
• . Make3D에서는 SfMLearner보다 더 높은 깊이 품질을 달성하여 도로 외부, 실외 환경에 대한 제로샷 일반화 능력이 뛰어나다.
• . 제거 분석 결과, 에피포라 제약 조건과 역깊이 정규화를 조합할 경우 최고의 성능을 기록하며, 최종 모델은 δ < 1.253 정확도 0.967를 달성한다.
• . 에피포라 마스크는 이동하는 물체(예: 자전거, 차량)를 효과적으로 식별할 수 있어, 명시적인 예측 없이도 운동 마스크의 대체 수 Mittel로 활용될 수 있다.