[논문 리뷰] Consistent Video Depth Estimation

Xuan Luo, Jia‐Bin Huang외 3명|arXiv (Cornell University)|2020. 04. 30.

Advanced Vision and Imaging참고 문헌 89인용 수 9

한 줄 요약

이 논문은 단일 영상 깊이 네트워크와 전통적인 구조에서 운동을 통한 구조(Structure-from-Motion)를 조합한 테스트 시점 미세조정 방법을 제안하여 단일 영상 영상에서 전역적으로 일관되고 조밀한 깊이 맵을 생성한다. COLMAP로부터 유도된 기하 제약 조건과 학습된 사전 지식을 정교화함으로써, 특히 동적인 또는 무늬가 있는 환경에서 이전 방법보다 더 높은 정확도와 시간적 안정성을 달성한다.

ABSTRACT

We present an algorithm for reconstructing dense, geometrically consistent depth for all pixels in a monocular video. We leverage a conventional structure-from-motion reconstruction to establish geometric constraints on pixels in the video. Unlike the ad-hoc priors in classical reconstruction, we use a learning-based prior, i.e., a convolutional neural network trained for single-image depth estimation. At test time, we fine-tune this network to satisfy the geometric constraints of a particular input video, while retaining its ability to synthesize plausible depth details in parts of the video that are less constrained. We show through quantitative validation that our method achieves higher accuracy and a higher degree of geometric consistency than previous monocular reconstruction methods. Visually, our results appear more stable. Our algorithm is able to handle challenging hand-held captured input videos with a moderate degree of dynamic motion. The improved quality of the reconstruction enables several applications, such as scene reconstruction and advanced video-based visual effects.

연구 동기 및 목표

• 단일 영상 영상에서 기하학적 일관성 부족과 깜빡임 현상을 해결한다.
• 운동이나 문양이 없는 영역으로 인해 자주 완전한 재구성이 어려운 전통적인 다중 시점 스테레오 기법의 한계를 극복한다.
• 학습 기반 사전 지식을 활용하여 제약 조건이 낮은 영역에서 신뢰할 수 있는 깊이 세부 정보를 생성하면서도 전역 일관성을 유지한다.
• 중간 정도의 동적 운동을 보이는 손으로 촬영한 영상에 대해 강력한 깊이 추정을 가능하게 한다.
• 3D 장면 재구성 및 자동화된 영상 기반 시각 효과와 같은 고급 애플리케이션을 지원한다.

제안 방법

• 단일 영상 영상에서 COLMAP를 사용하여 희박한 3D 구조와 카메라 자세를 계산하여 기하 제약 조건을 확립한다.
• FlowNet2를 사용하여 프레임 간 광학 흐름을 추출하고, 정방향-역방향 일致성 검사를 적용하여 신뢰할 수 없는 흐름을 걸러낸다.
• COLMAP의 기하 제약 조건과 광학 흐름을 기반으로 테스트 시점에 사전 학습된 단일 영상 깊이 추정 네트워크를 미세조정한다.
• 미세조정 손실을 프레임 간의 사진 일관성과 기하 일관성의 조합으로 설정한다.
• 낮은 신뢰도 영역에서 깊이를 세밀하게 생성할 수 있도록 사전 학습된 인덕티브 바이어스를 유지한다.
• 중간 스케일 정규화를 통해 최종 깊이 맵을 희박한 재구성과 정렬함으로써 전역 스케일 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 학습된 깊이 사전 지식이 영상 시퀀스 전반에 걸쳐 기하 일관성을 강제로 적용하는 데 효과적으로 적응할 수 있는가?
• RQ2 기하 제약 조건을 활용한 테스트 시점 미세조정이 독립적인 프레임 예측에 비해 깊이 정확도와 시간적 안정성에 어떻게 기여하는가?
• RQ3 사전 학습된 단일 영상 깊이 모델이 동적 운동 하에서 일관성을 유지하면서 영상에 얼마나 잘 일반화되는가?
• RQ4 운동 블러, 작은 기준선, 동적 물체가 포함된 도전적인 실생활 영상에서 이 방법의 성능은 어떠한가?
• RQ5 일관된 깊이 맵을 얻을 수 있는가? 이는 기하 일관성이 없는 깊이 맵으로는 구현할 수 없는 새로운 영상 기반 시각 효과를 가능하게 하는가?

주요 결과

• KITTI 벤치마크에서, 이 방법은 해상도가 낮은(384×112) 출력에서 절대 상대 오차(Abs Rel)가 0.130이고, <1.25 정확도가 0.878를 기록하여 Monodepth2 및 기타 최신 기법들을 능가한다.
• 이 방법은 깜빡임과 기하 불일치를 감소시켜 중간 정도의 동적 운동이 있는 영상에서도 시간적으로 안정된 깊이 맵을 생성한다.
• 정량적 결과로 볼 때, 이 방법은 KITTI Eigen 스플릿에서 절대 상대 오차 0.144와 <1.25 정확도 0.979를 기록하여 이전 방법들보다 일관성과 정확도 면에서 뚜렷한 우월성을 보였다.
• 시각적 결과는 이동하는 물체와 문양이 없는 영역을 더 잘 처리하며, 구멍이 적고 더 자연스러운 깊이 세부 정보를 제공함을 보여준다.
• 이 방법은 보조 영상에서 보여지듯이 깊이 기반 합성 및 3D 장면 조작과 같은 새로운 영상 기반 시각 효과를 가능하게 한다.
• 자세 추정 및 속도의 한계가 존재하지만, 기존의 단일 영상 깊이 추정 기법들에 비해 도전적인 실생활 영상에서 뛰어난 성능을 달성한다.