[논문 리뷰] Deep Depth Prior for Multi-View Stereo.

Pallabi Ghosh, Vibhav Vineet외 4명|arXiv (Cornell University)|2020. 01. 21.

Advanced Vision and Imaging참고 문헌 43인용 수 5

한 줄 요약

이 논문은 다중화면 스테레오에서 노이즈가 많고 완전하지 못한 깊이 맵을 복원하고 개선하기 위해 무작위로 초기화된 컨volutional 신경망의 인덕티브 바이어스를 활용하는 새로운 정규화 기법인 딥 디pth 프리오르를 소개한다. RGB-D 재구성 및 다중화면 사진 일致성 손실을 조합하여 네트워크를 최적화함으로써, 더 정확하고 완전한 깊이 맵을 생성하여 융합 후 더 고품질의 밀도 높은 3D 재구성을 이룬다.

ABSTRACT

It was recently shown that the structure of convolutional neural networks induces a strong prior favoring natural color images, a phenomena referred to as a deep image prior (DIP), which can be an effective regularizer in inverse problems such as image denoising, inpainting etc. In this paper, we investigate a similar idea for depth images, which we call a deep depth prior. Specifically, given a color image and a noisy and incomplete target depth map from the same viewpoint, we optimize a randomly initialized CNN model to reconstruct an RGB-D image where the depth channel gets restored by virtue of using the network structure as a prior. We propose using deep depth priors for refining and inpainting noisy depth maps within a multi-view stereo pipeline. We optimize the network parameters to minimize two losses 1) a RGB-D reconstruction loss based on the noisy depth map and 2) a multi-view photoconsistency-based loss, which is computed using images from a geometrically calibrated camera from nearby viewpoints. Our quantitative and qualitative evaluation shows that our refined depth maps are more accurate and complete, and after fusion, produces dense 3D models of higher quality.

연구 동기 및 목표

• 딥 신경망의 인덕티브 바이어스—딥 이미지 프리오르와 유사하게—깊이 맵 복원에 활용될 수 있는지 탐색한다.
• 다중화면 스테레오 파이프라인에서 노이즈가 많고 완전하지 못한 깊이 맵 문제를 해결한다.
• CNN의 구조적 프리오르를 활용해 깊이 맵을 개선함으로써 밀도 높은 3D 재구성을 향상시킨다.
• 더 나은 깊이 맵 최적화를 위해 RGB-D 재구성과 다중화면 사진 일치성 손실을 조합한다.

제안 방법

• 무작위로 초기화된 CNN을 깊이 맵 재구성에 프리오르로 사용하여, 네트워크의 내재된 인덕티브 바이어스가 자연스러운 깊이 구조를 선호하도록 한다.
• 입력된 노이즈가 많은 깊이 맵에서의 RGB-D 재구성 손실과 이웃한 캘리브레이션된 시야들에서의 사진 일치성 손실을 조합한 다중 작업 손실을 사용해 네트워크를 최적화한다.
• 사진 일치성 손실은 서로 다른 카메라에서 와핑된 이미지를 비교하여 다수의 시점 간 기하학적 일관성을 확보한다.
• 최적화 과정은 사전 훈련된 모델이 필요 없이 깊이 맵을 동시에 개선하고 완전성과 정확도를 향상시킨다.
• 최종 3D 모델 품질 향상을 위해 다중화면 스테레오 파이프라인에 통합된다.
• 사전 훈련 없이 엔드 투 엔드로 훈련되며, 오직 네트워크의 인덕티브 바이어스와 기하학적 제약 조건에 의존한다.

실험 결과

연구 질문

• RQ1 무작위로 초기화된 CNN의 인덕티브 바이어스가 색상 이미지에 대한 딥 이미지 프리오르와 유사하게 깊이 맵 재구성에 효과적인 프리오르로 기능할 수 있는가?
• RQ2 RGB-D 재구성과 다중화면 사진 일치성 손실을 조합하면 단일 시점 방법에 비해 깊이 맵 품질을 어떻게 향상시키는가?
• RQ3 다중화면 스테레오 환경에서 딥 디프스 프리오르가 노이즈를 줄이고 완전하지 못한 깊이 맵의 구멍을 얼마나 효과적으로 메울 수 있는가?
• RQ4 딥 디프스 프리오르를 사용하면 기준 방법에 비해 융합 후 더 고품질의 밀도 높은 3D 재구성을 얻을 수 있는가?

주요 결과

• 딥 디프스 프리오르는 기준 방법에 비해 개선된 깊이 맵의 정확도와 완전성을 크게 향상시킨다.
• RGB-D 재구성과 다중화면 사진 일치성 손실의 조합은 더 기하학적으로 일관된 깊이 맵을 생성한다.
• 융합 후 밀도 높고 더 정확한 3D 재구성을 생성하여 기존 접근 방식보다 정량적 지표에서 슈퍼리어한 성능을 기록한다.
• 사전 훈련된 네트워크나 깊이에 대한 명시적 지도 학습 없이도 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 단지 무작위로 초기화된 가중치와 기하학적 제약 조건만으로도 고품질의 깊이 예측을 도출하여 딥 디프스 프리오르의 강력함을 입증한다.
• 노이즈가 많고 완전하지 못한 깊이 입력을 효과적으로 처리하여 도전적인 영역에서도 타당한 깊이 구조를 복원한다.