[논문 리뷰] Monocular Depth Estimation with Self-supervised Instance Adaptation

Robert McCraith, Lukáš Neumann외 2명|arXiv (Cornell University)|2020. 04. 13.

Advanced Vision and Imaging참고 문헌 46인용 수 20

한 줄 요약

이 논문은 3D 지도 자료가 필요 없이 다중 시야 일致성(consistency)을 활용해 추론 시 모델 가중치를 미세 조정함으로써 단안 영상의 깊이 추정 성능을 햖थ하는 자기지도 학습 기반의 인스턴스 적응 방법을 제안한다. KITTI에서 평균 절대 오차가 25% 감소하고, 완전히 지도 학습된 최신 기법과 동등한 성능을 달성하며, 이전의 자기지도 학습 기법들을 능가한다.

ABSTRACT

Recent advances in self-supervised learning havedemonstrated that it is possible to learn accurate monoculardepth reconstruction from raw video data, without using any 3Dground truth for supervision. However, in robotics applications,multiple views of a scene may or may not be available, depend-ing on the actions of the robot, switching between monocularand multi-view reconstruction. To address this mixed setting,we proposed a new approach that extends any off-the-shelfself-supervised monocular depth reconstruction system to usemore than one image at test time. Our method builds on astandard prior learned to perform monocular reconstruction,but uses self-supervision at test time to further improve thereconstruction accuracy when multiple images are available.When used to update the correct components of the model, thisapproach is highly-effective. On the standard KITTI bench-mark, our self-supervised method consistently outperformsall the previous methods with an average 25% reduction inabsolute error for the three common setups (monocular, stereoand monocular+stereo), and comes very close in accuracy whencompared to the fully-supervised state-of-the-art methods.

연구 동기 및 목표

• 단안 및 다중 시야 데이터가 공존하는 로봇 분야에서 깊이 추정의 일관성 문제를 해결한다.
• 다중 시야에서의 자기지도 학습을 활용해 추론 중 동적으로 깊이 예측 성능을 향상시킨다.
• 재학습 없이 기존 자기지도 학습 기반 단안 깊이 모델을 향상시킬 수 있는 방법을 개발한다.
• 완전히 자기지도 학습임을 유지하면서도 완전히 지도 학습 기반 최신 기법에 가까운 성능을 달성한다.
• 순차적 적응을 통해 장시간 영상 시퀀스에서의 안정성과 시간적 일관성을 확보한다.

제안 방법

• 추론 중 표준 자기지도 학습 손실(예: 워핑을 통한 이미지 재구성)을 적용해 깊이 예측을 개선한다.
• 다중 프레임 일치성을 활용해 백프로파게이션을 통해 사전 훈련된 모델의 특정 구성 요소(예: 깊이 인코더 가중치)만 최적화한다.
• 인스턴스별 적응을 구현: 고초기 학습률을 사용해 각 이미지마다 별도로 50번의 SGD 스텝을 통해 모델 가중치를 업데이트한다.
• 순차적 적응을 구현: 효율성을 위해 각 프레임에서 5번의 스텝만 사용해 프레임 간 모델 가중치를 유지하고 업데이트한다.
• 스테레오 쌍을 사용할 경우 알려진 스테레오 기반 기준을 활용해 자세 추정을 제약하고, 적응을 깊이 특징에 집중시킨다.
• 단안 및 스테레오 입력 모두에 적용해 추론 중에 데이터 유형을 원활하게 통합한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 원칙을 다중 시야를 활용해 추론 시 깊이 추정 성능 향상에 확장할 수 있는가?
• RQ2 영상 일치성을 기반으로 추론 시 모델 가중치를 적응시키면 기존 자기지도 학습 기법 대비 성능 향상이 두드러지는가?
• RQ3 모델 드리프트 없이 장시간 영상 시퀀스에서도 정확성과 안정성을 유지할 수 있는가?
• RQ4 정확도와 추론 속도 측면에서 인스턴스별 적응과 순차적 적응은 어떻게 비교되는가?
• RQ5 혼합된 단안 및 스테레오 입력에 대해 일반화 가능하며, 완전히 지도 학습 기반 최신 기법에 근접한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 단안, 스테레오, 단안+스테레오 모두에 대해 KITTI 벤치마크에서 평균 절대 오차가 25% 감소한다.
• KITTI 오도메트리 9 시퀀스에서 절대 상대 오차는 기준선(0.454)에서 순차적 적응 시 0.291로 감소하고, 인스턴스별 적응 시 0.222로 더 감소한다.
• 인스턴스별 적응 전략은 이전의 모든 자기지도 학습 기법을 능가하며, KITTI에서 완전히 지도 학습된 DORN 기법에 1.5% 이내로 근접한다.
• 순차적 적응은 인스턴스별 적응과 유사한 정확도를 달성하지만 10배 빠르며, 실시간 배포에 적합하다.
• 장기간 시퀀스(예: 4981 프레임)에서도 안정적으로 유지되며, 24,000회 이상의 가중치 업데이트에도 불구하고 발산 현상이 관찰되지 않는다.
• 다양한 입력 유형(단안, 스테레오, 혼합 데이터)에 대해 강건하며, 재학습 없이 적용 가능하다.