[논문 리뷰] MVSNet: Depth Inference for Unstructured Multi-view Stereo

Yao Yao, Zixin Luo외 3명|arXiv (Cornell University)|2018. 04. 07.

Advanced Vision and Imaging참고 문헌 29인용 수 61

한 줄 요약

MVSNet은 차등 가능성 호모그래피를 이용한 비용 볼륨 구성, 3D CNN 정규화 및 깊이 정제를 통해 비구조적 다중 시점 이미지로부터 각 시점 뷰의 깊이 맵 추론을 위한 엔드-투-엔드 딥러닝 접근법을 제시합니다.

ABSTRACT

We present an end-to-end deep learning architecture for depth map inference from multi-view images. In the network, we first extract deep visual image features, and then build the 3D cost volume upon the reference camera frustum via the differentiable homography warping. Next, we apply 3D convolutions to regularize and regress the initial depth map, which is then refined with the reference image to generate the final output. Our framework flexibly adapts arbitrary N-view inputs using a variance-based cost metric that maps multiple features into one cost feature. The proposed MVSNet is demonstrated on the large-scale indoor DTU dataset. With simple post-processing, our method not only significantly outperforms previous state-of-the-arts, but also is several times faster in runtime. We also evaluate MVSNet on the complex outdoor Tanks and Temples dataset, where our method ranks first before April 18, 2018 without any fine-tuning, showing the strong generalization ability of MVSNet.

연구 동기 및 목표

• 무구조화된 뷰를 가진 MVS에서 깊이 맵 추론의 개선을 동기화한다.
• 차등 가능성 호모그래피를 사용하여 2D 특징으로부터 3D 비용 볼륨을 구성하는 엔드-투-엔드 네트워크를 제안한다.
• 가변적 N뷰 입력을 분산 기반 비용 메트릭으로 유연하게 처리한다.
• 유효한 Ground-truth 픽셀에서 초기 깊이 맵을 예측하고 정밀하게 보정한다.

제안 방법

• 공유된 8-layer CNN으로 다중 스케일 2D 이미지 특징을 추출한다.
• 참조 카메라 시야체에 차등 가능성 호모그래피 워핑을 사용하여 3D 비용 볼륨을 구성한다.
• N 뷰 볼륨을 분산 기반 비용 메트릭으로 집계하여 최종 비용 볼륨을 형성한다.
• 다중 스케일 3D CNN으로 비용 볼륨을 정규화하고 깊이에 따라 소프트맥스 확률 볼륨을 생성한다.
• 깊이 가설에 대해 미분 가능 소프트 아크민(s)으로 초기 깊이를 계산한다.
• 참조 이미지를 이용한 guidance 네트워크로 초기 깊이를 보정하여 최종 깊이 맵을 생성한다.
• 유효한 Ground-truth 픽셀에서 초기 및 보정된 깊이 맵 오차를 결합한 손실로 학습한다.

실험 결과

연구 질문

• RQ1 비구조적 다중 시점 입력을 차등 가능한 투사 메커니즘을 사용하여 각 시점 뷰의 깊이 맵 추론 프레임워크에 효과적으로 통합할 수 있는가?
• RQ2 분산 기반 다중 뷰 비용 메트릭이 평균 기반 접근법에 비해 깊이 추정 정확도와 강인성을 개선하는가?
• RQ3 참조 이미지를 활용한 각 시점 뎁스 맵 보정이 경계 정확도와 전반적인 깊이 품질에 어떤 영향을 미치는가?
• RQ4 실내 DTU 데이터에서 실외 Tanks and Temples 데이터로 파인튜닝 없이 일반화 능력은 어떠한가?

주요 결과

Method	Mean Distance (mm) Acc.	Mean Distance (mm) Comp.	Mean Distance (mm) overall	Percentage (< 1mm) Acc.	Percentage (< 1mm) Comp.	Percentage (< 1mm) f-score	Percentage (< 2mm) Acc.	Percentage (< 2mm) Comp.	Percentage (< 2mm) f-score
Gipuma [ 8 ]	0.283	0.873	0.578	94.65	59.93	70.64	96.42	63.81	74.16
SurfaceNet [ 14 ]	0.450	1.04	0.745	83.8	63.38	69.95	87.15	67.99	74.4
MVSNet (Ours)	0.396	0.527	0.462	86.46	71.13	75.69	91.06	75.31	80.25

• DTU에서 완성도와 전반적 품질 측면에서 이전 방법을 능가하고 질감이 없거나 반사적인 영역에서도 강력한 강건성을 보인다.
• 파인튜닝 없이 Tanks and Temples에서 최첨단 결과를 달성하며 강한 일반화를 보여준다.
• 분산 기반 비용 메트릭이 평균 기반 대안보다 수렴 속도 및 검증 성능을 향상시킨다.
• 깊이 맵 보정이 경계 정확도와 전반적 깊이 품질을 개선한다.
• 실행 시간이 이전 방법보다 현저하게 빠르며(스캔당 약 230초, 시점당 약 4.7초)
• 모델은 다양한 입력 뷰 수(N)를 지원하며 뷰 수가 늘어나면 성능이 개선된다.