[논문 리뷰] Learning Unsupervised Multi-View Stereopsis via Robust Photometric Consistency

Tejas Khot, Shubham Agrawal외 4명|arXiv (Cornell University)|2019. 05. 07.

Advanced Vision and Imaging참고 문헌 36인용 수 64

한 줄 요약

이 논문은 ground-truth 3D 데이터 없이 깊이 예측을 학습하기 위해 강건한 광도 일관성 손실을 사용하는 비지도 학습 접근 방식으로 다중 뷰 스테레오(MVS)를 제안하며, 암시적 가림 처리를 통한 경쟁력 있는 조밀 재구성을 가능하게 한다.

ABSTRACT

We present a learning based approach for multi-view stereopsis (MVS). While current deep MVS methods achieve impressive results, they crucially rely on ground-truth 3D training data, and acquisition of such precise 3D geometry for supervision is a major hurdle. Our framework instead leverages photometric consistency between multiple views as supervisory signal for learning depth prediction in a wide baseline MVS setup. However, naively applying photo consistency constraints is undesirable due to occlusion and lighting changes across views. To overcome this, we propose a robust loss formulation that: a) enforces first order consistency and b) for each point, selectively enforces consistency with some views, thus implicitly handling occlusions. We demonstrate our ability to learn MVS without 3D supervision using a real dataset, and show that each component of our proposed robust loss results in a significant improvement. We qualitatively observe that our reconstructions are often more complete than the acquired ground truth, further showing the merits of this approach. Lastly, our learned model generalizes to novel settings, and our approach allows adaptation of existing CNNs to datasets without ground-truth 3D by unsupervised finetuning. Project webpage: https://tejaskhot.github.io/unsup_mvs

연구 동기 및 목표

• Ground-truth 3D 감독 없이 MVS 학습을 촉진한다.
• 다视 간의 광도 일관성을 깊이 예측의 감독으로 활용한다.
• MVS 설정에서 가림과 조명 변화에 견디는 강건한 손실을 개발한다.

제안 방법

• 다중 뷰가 주어지면 CNN으로 이미지별 깊이 맵을 예측한다.
• 미분 가능한 워핑을 사용해 뷰를 합성하고 광도 재투영 손실을 계산한다.
• 가림을 처리하기 위한 각 픽셀의 상위-K 뷰 손실의 강건한 집계를 도입한다.
• 조명 변화 완화를 위해 1차 그래디언트 일관성을 도입한다.
• 광도 손실을 SSIM 및 모서리 인식 깊이 매끄러움과 가중 목표로 결합한다.
• 다중 뷰 이미지 세트에서 ADAM으로 엔드-투-엔드 학습하며 추론 시 깊이 맵을 3D 포인트 클라우드로 융합한다.

실험 결과

연구 질문

• RQ1 광도 일관성 across views를 활용하여 3D 감독 없이 MVS 깊이 예측을 학습할 수 있는가?
• RQ2 다중 뷰 광도 손실 프레임워크에서 가림 및 조명 변화는 어떻게 강건하게 처리될 수 있는가?
• RQ3 상위-K 뷰-일관성 손실의 선택이 MVS의 깊이 예측 학습 신호를 개선하는가?
• RQ4 학습된 모델이 3D 감독 없이 보이지 않는 데이터셋과 설정에 일반화되는가?
• RQ5 3D 주석이 없는 데이터셋에서 무지도식 미세 조정이 성능을 향상시키는가?

주요 결과

• 상위-K 뷰 집계를 통한 강건한 광도 손실이 순진한 광도 일관성보다 재구성 품질을 향상시킨다.
• 강건 모델이 DTU에서 여러 지표상 베이스라인 및 일부 고전 방법을 상회하며 감독 방법에 근접한 성능을 보인다.
• 강건 손실로의 학습은 저-텍스처 영역에서 구멍이 적고 더 완전한 재구성을 유도한다.
• 새 데이터셋에서 강건 손실로 미세 조정하면 3D 주석 없이도 성능이 향상된다.
• 깊이 범위 문제로 인해 한정된 영역에서 튜닝 없이도 Tanks and Temples에 일반화 가능하지만 한계가 나타난다.