[논문 리뷰] DeepV2D: Video to Depth with Differentiable Structure from Motion

Zachary Teed, Jia Deng|arXiv (Cornell University)|2018. 12. 11.

Advanced Vision and Imaging참고 문헌 65인용 수 89

한 줄 요약

DeepV2D는 비디오에서 깊이를 예측하기 위해 깊이와 모션 추정을 교대로 수행하는 엔드-투-엔드 미분가능 파이프라인이며, 학습 가능한 모듈로 클래식한 SfM 기하를 통합합니다.

ABSTRACT

We propose DeepV2D, an end-to-end deep learning architecture for predicting depth from video. DeepV2D combines the representation ability of neural networks with the geometric principles governing image formation. We compose a collection of classical geometric algorithms, which are converted into trainable modules and combined into an end-to-end differentiable architecture. DeepV2D interleaves two stages: motion estimation and depth estimation. During inference, motion and depth estimation are alternated and converge to accurate depth. Code is available https://github.com/princeton-vl/DeepV2D.

연구 동기 및 목표

• 비디오 시퀀스로부터의 깊이 추정을 동기화시키기 위해 SfM의 기하학 구조를 활용합니다.
• Flow-SE3를 포함한 모션(모션) 모듈과 깊이 모듈을 교차로 배치하는 미분가능한 아키텍처를 제안합니다.
• 깊이와 모션 간의 블록 좌표 하강법이 정확한 깊이로 수렴함을 보여줍니다.
• 다양한 데이터셋 간의 일반화 및 최첨단 방법과의 경쟁력을 입증합니다.

제안 방법

• Depth 모듈은 학습된 2D 특징과 미분가능한 역투영을 사용하여 다중 뷰 전반의 코스트 볼륨을 구축하고, 3D 매칭과 미분가능한 soft-argmax를 통해 깊이를 산출합니다.
• Motion 모듈은 각 픽셀 기하학적 재투영 오차에 대한 미분가능한 Gauss-Newton 스텝을 최소화하여 포즈 업데이트를 예측하며, Flow-SE3를 사용하여 2D 대응을 SE(3) 업데이트로 매핑합니다.
• 정방향 패스는 깊이 모듈과 모션 모듈 사이를 번갈아 수행하여 블록 좌표 하강법과 유사한 반복 기반의 정제를 가능하게 합니다.
• 카메라 기하는 투영 및 역투영 연산자와 상대 포즈 G_ij = G_j G_i^{-1로 뷰를 관련짓는 형식으로 정형화됩니다.
• 감독은 깊이 L1 손실과 에지-민감한 스무딩, 강건한 Huber 항을 통한 포즈 손실을 포함한 사진측도 스타일의 손실을 결합합니다.

실험 결과

연구 질문

• RQ1 미분가능한 아키텍처가 특징 매칭, PnP, MVS와 같은 클래식 SfM 단계를 비디오로부터의 깊이 추정에 통합할 수 있는가?
• RQ2 깊이와 모션 업데이트를 교대로 수행해 ground-truth 카메라 포즈 없이도 정확한 깊이에 수렴하는가?
• RQ3 입력 프레임의 수 및 데이터셋 간에 모델의 일반화 성능은 어떤가?
• RQ4 초기화 전략과 반복 횟수의 깊이 정확도에 미치는 영향은 무엇인가?
• RQ5 NYU, ScanNet, SUN3D, KITTI와 같은 벤치마크에서 다뷰 및 단일 뷰 깊이 추정기와의 경쟁력이 어느 정도인가?

주요 결과

• DeepV2D는 DeepTAM, DeMoN, BA-Net, MVSNet과 같은 강력한 baselines를 여러 벤치마크에서 능가합니다.
• 방법은 데이터 간 일반화가 잘 되며, 서로 다른 데이터에 대해 학습된 경우에도 다른 방법을 능가할 수 있습니다(크로스-데이터셋 일반화).
• 수렴을 위해 필요한 반복 횟수가 적고, 입력 프레임 수가 많아질수록 정확도가 향상됩니다.
• 모션 업데이트는 기하학적 재투영 오차에 대한 미분가능한 Gauss-Newton 최적화에 의해 주도되며, 깊이 추정은 3D 코스트 볼륨과 학습된 매칭에 의존합니다.