[논문 리뷰] Feature-metric Loss for Self-supervised Learning of Depth and Egomotion

Chang Shu, Kun Yu외 2명|arXiv (Cornell University)|2020. 07. 21.

Advanced Vision and Imaging참고 문헌 56인용 수 16

한 줄 요약

이 논문은 자기지도학습을 통한 깊이 및 이동 추정을 위한 기능-메트릭 손실을 제안하며, 일阶(분류성) 및 이阶(수렴성) 기울기 손실로 정규화된 오토인코더 네트워크를 통해 유의미한 특징 표현을 학습함으로써 유리한 최적화 경로를 형성한다. 이 방법은 KITTI에서 깊이 추정 성능을 최고 수준으로 향상시켜 $δ_1$를 0.885에서 0.925로 개선하고, 시각적 오도메트리에서 이전 방법들을 크게 능가한다.

ABSTRACT

Photometric loss is widely used for self-supervised depth and egomotion estimation. However, the loss landscapes induced by photometric differences are often problematic for optimization, caused by plateau landscapes for pixels in textureless regions or multiple local minima for less discriminative pixels. In this work, feature-metric loss is proposed and defined on feature representation, where the feature representation is also learned in a self-supervised manner and regularized by both first-order and second-order derivatives to constrain the loss landscapes to form proper convergence basins. Comprehensive experiments and detailed analysis via visualization demonstrate the effectiveness of the proposed feature-metric loss. In particular, our method improves state-of-the-art methods on KITTI from 0.885 to 0.925 measured by $δ_1$ for depth estimation, and significantly outperforms previous method for visual odometry.

연구 동기 및 목표

• 광도 손실의 한계, 특히 무문자 또는 저대trast 영역에서의 문제를 해결하기 위해.
• 학습된 특징 표현을 통해 손실 경로를 형상화하여 최적화의 안정성과 수렴성을 향상시키기 위해.
• 자기지도학습 프레임워크를 통해 어려운 영역에서 장거리 깊이 전파와 강건한 추정을 가능하게 하기 위해.
• 감독 없이도 단일 카메라 깊이 및 시각적 오도메트리 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 깊이 추정 및 자세 추정을 위한 크로스 뷰 복원을 위한 DepthNet과 PoseNet, 단일 뷰 복원을 위한 FeatureNet을 포함하는 삼중 스트림 네트워크를 도입한다.
• FeatureNet에서 학습된 특징 표현을 기반으로 기능-메트릭 손실을 정의하며, 이는 광도 손실을 대체하거나 보완한다.
• 첫 번째 기울기(일阶)를 통한 픽셀 간 특징 차이를 유도하는 분류성 손실을 구현하여 특징의 분류 능력을 향상시킨다.
• 기울기의 분산을 억제하는 수렴성 손실을 적용하여 넓은 수렴 기저를 촉진하고 최적화의 안정성을 높인다.
• 재구성, 분류성, 수렴성 손실을 함께 최적화하여 깊이, 이동 추정, 특징 표현을 종합적으로 엔드 투 엔드로 훈련한다.
• 학습된 특징 맵을 분석하고 표현 학습의 품질을 검증하기 위해 주성분 분석 기반의 시각화를 활용한다.

실험 결과

연구 질문

• RQ1 자기지도학습 기반 특징 표현 학습이 깊이 및 이동 추정에서 최적화의 안정성과 수렴성을 향상시킬 수 있는가?
• RQ2 무문자 영역에서 기능 기반 손실 경로가 광도 손실 및 부드러움 기반 손실보다 우월한가?
• RQ3 정규화된 특징 학습을 통해 장거리 깊이 전파를 가능하게 하면서 경계 세부 정보를 유지할 수 있는가?
• RQ4 기존 자기지도학습 방법에 비해 기능-메트릭 손실이 시각적 오도메트리 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 기능-메트릭 손실은 KITTI에서 $δ_1$를 0.885에서 0.925로 향상시켜 최고 성능을 달성한다.
• 이 방법은 시각적 오도메트리에서 이전 자기지도학습 접근보다 뚜렷이 우수한 성능을 보이며, 궤적 오차($t_{err}$)와 회전 오차($r_{err}$)가 모두 낮다.
• 학습된 특징의 시각화 결과, $π_{rec}$, $π_{dis}$, $π_{cvt}$ 손실의 조합이 기울기 강하가 유리한 평탄한 경로를 형성하는 것으로 나타났다.
• 모든 세 가지 손실($π_{rec} + π_{dis} + π_{cvt}$)을 포함한 모델이 최고의 성능를 기록했으며, $π_{cvt}$를 생략할 경우 불안정하고 진동하는 특징 맵이 나타났다.
• 오차 보정에서 기능-메트릭 손실은 더 강력하고 분류 능력이 뛰어난 지도 정보를 제공해 온라인 정밀 조정에 더 큰 이점을 제공한다.
• 오토인코더 경로를 통한 특징 표현 학습은 광도 손실만 사용할 경우보다 무문자 영역에서 더 강건한 성능을 보였다.