[논문 리뷰] DeepSFM: Structure From Motion Via Deep Bundle Adjustment

Xingkui Wei, Yinda Zhang외 3명|arXiv (Cornell University)|2019. 12. 20.

Advanced Vision and Imaging참고 문헌 51인용 수 4

한 줄 요약

DeepSFM는 사진 일관성 및 기하 일관성을 강제하는 깊이 기반 비용 볼륨(D-CV)과 가상의 카메라 운동을 통한 일관성을 강제하는 자세 기반 비용 볼륨(P-CV)을 사용하여 반복적으로 3D 깊이와 카메라 자세를 개선하는 딥 러닝 프레임워크를 제안한다. 이 방법은 노이즈가 많거나 희박한 초기 자세나 깊이 추정치에 대해 뛰어난 강건성을 보이며, 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Structure from motion (SfM) is an essential computer vision problem which has not been well handled by deep learning. One of the promising trends is to apply explicit structural constraint, e.g. 3D cost volume, into the network. However, existing methods usually assume accurate camera poses either from GT or other methods, which is unrealistic in practice. In this work, we design a physical driven architecture, namely DeepSFM, inspired by traditional Bundle Adjustment (BA), which consists of two cost volume based architectures for depth and pose estimation respectively, iteratively running to improve both. The explicit constraints on both depth (structure) and pose (motion), when combined with the learning components, bring the merit from both traditional BA and emerging deep learning technology. Extensive experiments on various datasets show that our model achieves the state-of-the-art performance on both depth and pose estimation with superior robustness against less number of inputs and the noise in initialization.

연구 동기 및 목표

• 딥 러닝 기반 SfM 방법이 명시적인 기하 제약 조건을 갖추지 못하고 정확한 초기 카메라 자세에 의존하는 한계를 해결한다.
• 기하학적 SfM의 취약성을 무늬가 없는 또는 비-라운드 반사 표면의 장면에서 극복하기 위해 물리적 사전 지식을 딥 러닝 프레임워크에 통합한다.
• 반복적인 번들 조정의 특성을 모방함으로써 초기 추정치가 노이즈가 많거나 희박한 경우에도 깊이와 자세를 안정적으로 공동 최적화할 수 있도록 한다.
• 伝통적인 기하 기반 SfM과 종단 간 딥 러닝 간 격차를 메우기 위해 사진 일관성과 기하 일관성을 학습 가능한 반복 아키텍처에 통합한다.

제안 방법

• 번들 조정의 영감을 받은 물리 기반 딥 네트워크를 제안하며, 두 가지 다른 유형의 미분 가능한 비용 볼륨을 사용한다: D-CV는 깊이 추정을 위한 것이고, P-CV는 자세 개선을 위한 것이다.
• D-CV는 픽셀을 이산적인 깊이 평면으로 역투영하여 다양한 시점 간의 이미지 특징과 깊이 값의 차이를 측정함으로써 사진 일관성 및 기하 일관성 비용을 계산한다.
• P-CV는 유사한 방식으로 비용을 계산하지만, 카메라를 이산적인 위치로 가상으로 이동시키며, 사진 일관성 및 기하 일관성의 차이를 측정하여 자세를 개선한다.
• 네트워크는 D-CV와 P-CV의 추론을 반복적으로 번갈아가며 수행함으로써 깊이 및 자세 추정치를 좌표 강내림 유사 방식으로 개선한다.
• 초기 깊이는 전통적인 3D 비용 볼륨을 통해 확보되며, 초기 자세는 DeMoN과 같은 직접 회귀 모델을 통해 유도되어 약한 감독 하에 종단 간 훈련이 가능하다.
• 반복 과정은 레이먼드-모르트의 최적화를 펼치는 데서 발생하는 메모리 및 계산 병목 현상을 피함으로써 더 많은 반복 횟수와 더 나은 수렴 성능을 달성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 사진 일관성 및 기하 일관성과 같은 명시적인 기하 제약 조건을 네트워크에 효과적으로 통합하여 공동 SfM 최적화를 수행할 수 있는가?
• RQ2 노이즈가 많거나 정확하지 않은 카메라 자세로 초기화했을 때, 딥 러닝 기반 SfM 방법의 성능이 전통적인 번들 조정과 비교해 어떻게 되는가?
• RQ3 D-CV와 P-CV를 통한 반복적 개선이 단일 전방 계산 이후의 깊이 및 자세 추정 성능을 얼마나 향상시킬 수 있는가?
• RQ4 입력 시점 수가 감소하거나 입력 자세가 노이즈에 오염되었을 경우, 제안된 방법이 여전히 강건성을 유지하는가?
• RQ5 유연한 아키텍처에 물리적 사전 지식을 통합하면 종단 간 회귀 기반 SfM 모델에 비해 일반화 능력과 정확도 면에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• DeepSFM는 DeMoN, ScanNet, ETH3D, Tanks and Temples 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 전통적인 SfM(COLMAP 등)과 최신 딥 러닝 방법을 모두 능가한다.
• ETH3D에서 DeepSFM는 동일한 수의 시점으로도 COLMAP 대비 깊이 오차를 절반으로 줄였고, 반면 반만의 입력 이미지로도 유사한 오차를 달성하였다.
• 이미지 크기 축소나 프레임 샘플링으로 인해 입력 자세 품질이 떨어질 경우, DeepSFM는 안정적인 성능 유지를 보였고, COLMAP 및 R-MVSNet는 성능 저하가 심했다.
• 반복적 개선 과정은 약 네 번의 반복 후 수렴하며, 깊이 오차와 자세 오차가 일관되게 감소함을 보여 주어 상호 개선이 효과적으로 이루어지고 있음을 확인하였다.
• 절단 분석 결과, P-CV 모듈은 초기 단계에서 노이즈가 많은 깊이 추정치를 가진 경우에도 직접 시각 옹도메트리 기반 모델 대비 자세 추정 성능을 크게 향상시켰다.
• 카메라 궤적 및 3D 재구성 시각화 결과, 낮은 무늬 또는 반사성 표면을 가진 도전적인 장면에서도 더 높은 품질과 안정성 있는 출력을 제공함을 확인하였다.