[논문 리뷰] PackNet-SfM: 3D Packing for Self-Supervised Monocular Depth Estimation.

Vitor Guizilini, Rareş Ambruş외 2명|arXiv (Cornell University)|2019. 05. 06.

Advanced Vision and Imaging인용 수 26

한 줄 요약

PackNet-SfM는 단일 영상에서 자기지도 학습을 위한 3D 포장 및 해제 아키텍처를 제안하며, 테스트 시스템 스케일링 없이도 메트릭스 깊이 예측이 가능한 속도 감독 손실을 도입한다. 이는 KITTI에서 최고 성능을 기록하며, 모든 단일 영상으로 학습된 방법보다 뛰어나고 스테레오로 학습된 모델들과 경쟁한다.

ABSTRACT

Densely estimating the depth of a scene from a single image is an ill-posed inverse problem that is seeing exciting progress with self-supervision from strong geometric cues, in particular from training using stereo imagery. In this work, we investigate the more challenging structure-from-motion (SfM) setting, learning purely from monocular videos. We propose PackNet - a novel deep architecture that leverages new 3D packing and unpacking blocks to effectively capture fine details in monocular depth map predictions. Additionally, we propose a novel velocity supervision loss that allows our model to predict metrically accurate depths, thus alleviating the need for test-time ground-truth scaling. We show that our proposed scale-aware architecture achieves state-of-the-art results on the KITTI benchmark, significantly improving upon any approach trained on monocular video, and even achieves competitive performance to stereo-trained methods.

연구 동기 및 목표

• 스테레오 감독의 기하학적 제약이 부족한 단일 영상에서 자기지도 학습을 통한 깊이 추정 문제를 해결하기 위해.
• 새로운 3D 포장 및 해제 메커니즘을 사용하여 단일 이미지 깊이 예측에서 세밀한 깊이 세부 정보를 개선하기 위해.
• 테스트 시 지도 데이터 스케일링이 필요 없이 메트릭스 정확도를 갖춘 깊이 예측을 가능하게 하기 위해, 이는 자기지도 학습 단일 영상 방법의 주요 제약이다.
• 단일 영상으로 학습된 모델과 스테레오로 학습된 모델 간의 성능 격차를 줄이기 위해.

제안 방법

• 공간, 채널, 깊이 차원을 모두 고려하여 특징 맵을 처리하는 3D 포장 및 해제 블록을 도입하여 특징 표현과 세부 정보 복구를 향상시킨다.
• 단일 영상의 운동 일관성에 기반한 새로운 속도 감독 손실을 활용하여, 테스트 시스템 스케일링 없이도 메트릭스 깊이를 예측한다.
• 학습 중 기하학적 감독을 제공하기 위해 단일 영상 시퀀스에서 구조-에서-운동(SfM) 신호를 활용한다.
• 3D 포장을 포함한 다중 해상도 인코더-디코더 아키텍처를 사용하여 장거리 의존성 모델링과 깊이 맵의 세밀한 세부 정보 유지에 기여한다.
• 영상 간 사진 일관성을 강제하기 위해 유연한 워핑 레이어를 사용한 역깊이 감독을 적용한다.
• 깊이 감독, 사진 일관성, 속도 기반 메트릭스 캘리브레이션의 조합을 최적화하여 네트워크를 학습한다.

실험 결과

연구 질문

• RQ1 단일 영상 시퀀스에서만 학습된 자기지도 학습 단일 영상 깊이 모델이 스테레오 감독 없이도 최고 성능을 달성할 수 있는가?
• RQ2 기존 2D 특징 처리와 비교해 볼 때, 3D 포장 및 해제가 깊이 맵의 세밀한 세부 정보를 얼마나 효과적으로 포착하는가?
• RQ3 속도 기반 감독이 테스트 시스템 스케일링이나 깊이 감독 없이도 메트릭스 깊이 예측을 가능하게 할 수 있는가?
• RQ4 제안된 방법이 단일 영상로 학습된 모델과 스테레오로 학습된 모델 간의 성능 격차를 어느 정도 줄일 수 있는가?

주요 결과

• PackNet-SfM는 단일 영상로만 학습된 모델 중 KITTI 벤치마크에서 최고 성능을 기록한다.
• 모델은 절대 상대 오차(Abs Rel), 제곱 상대 오차(Sq Rel), 평균 제곱근 오차(RMSE) 측면에서 이전의 단일 영상 자기지도 학습 방법보다 뚜렷이 뛰어나다.
• 속도 감독 손실 덕분에 테스트 시스템 스케일링 없이도 메트릭스 깊이 예측이 가능해져, 자기지도 학습 방법에서 흔한 오류 원인을 제거한다.
• 3D 포장 및 해제 블록은 특징 표현을 향상시키고, 특히 깊이 불연속성이 있는 복잡한 장면에서 세밀한 세부 정보를 유지하는 데 기여한다.
• 스테레오로 학습된 모델들과 경쟁 가능한 성능을 달성하여, 단일 영상가능성이 고품질 깊이 추정을 제공할 잠재력을 입증한다.