[논문 리뷰] Self-supervised Learning of Depth Inference for Multi-view Stereo

Jiayu Yang, José M. Alvarez외 1명|arXiv (Cornell University)|2021. 04. 07.

Advanced Vision and Imaging참고 문헌 27인용 수 4

한 줄 요약

이 논문은 다중 시야 스테레오 깊이 추정을 위한 자기지도 학습 프레임워크를 제안하며, 반복적 보정을 통해 고품질의 가짜 깊이 레이블을 생성함으로써 DTU 데이터셋에서 지도 학습 방법과 비슷한 성능을 달성한다. 이 방법은 영상 재구성에 기반한 비지도 깊이 추정을 사용하고, 고해상도 추론과 다중 시야 융합을 통해 가짜 레이블을 보정하며, 진정도 깊이 지도 없이 네트워크 성능을 반복적으로 향상시킨다.

ABSTRACT

Recent supervised multi-view depth estimation networks have achieved promising results. Similar to all supervised approaches, these networks require ground-truth data during training. However, collecting a large amount of multi-view depth data is very challenging. Here, we propose a self-supervised learning framework for multi-view stereo that exploit pseudo labels from the input data. We start by learning to estimate depth maps as initial pseudo labels under an unsupervised learning framework relying on image reconstruction loss as supervision. We then refine the initial pseudo labels using a carefully designed pipeline leveraging depth information inferred from higher resolution images and neighboring views. We use these high-quality pseudo labels as the supervision signal to train the network and improve, iteratively, its performance by self-training. Extensive experiments on the DTU dataset show that our proposed self-supervised learning framework outperforms existing unsupervised multi-view stereo networks by a large margin and performs on par compared to the supervised counterpart. Code is available at https://github.com/JiayuYANG/Self-supervised-CVP-MVSNet.

연구 동기 및 목표

• MVS 네트워크 학습을 위한 대규모 다중 시야 깊이 데이터 확보의 과제를 해결하기 위해.
• 진정도 깊이 레이블에 의존하지 않는 자기지도 학습 프레임워크를 개발하기 위해.
• 더 나은 지도 학습을 위해 비지도 영상 재구성에서 유도된 가짜 깊이 레이블의 품질을 향상시키기 위해.
• 진정도 깊이 지도 없이 다중 시야 영상만을 사용하여 지도 학습 MVS 네트워크와 비슷한 성능을 달성하기 위해.
• 다단계 처리를 통해 반복적으로 가짜 레이블을 정련하여 네트워크 일반화 능력을 향상시키기 위해.

제안 방법

• 사진 재구성 손실을 사용하여 비지도 학습을 통해 시야 간 광학 일致성을 강제함으로써 初기 깊이 맵을 생성한다.
• 신뢰할 수 있는 픽셀을 위한 더 정확한 깊이 추정을 위해 고해상도 영상을 사용하여 초기 가짜 레이블 품질을 향상시킨다.
• 이웃 시야 간 깊이 일관성을 활용하여 가짜 레이블을 필터링함으로써 오류를 감소시킨다.
• 다중 시야 깊이 융합 및 메쉬 생성을 적용하여 불완전한 가짜 레이블을 보완하고 공간 일관성을 향상시킨다.
• 정련된 가짜 레이블을 반복적인 자기학습 루프에서 네트워크를 지도함으로써 성능을 점진적으로 향상시킨다.
• CVP-MVSNet의 구성 요소를 통합하고 점진적 자기지도 학습을 통해 깊이 추정 능력을 점차 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 학습 프레임워크는 진정도 깊이 지도 없이도 고품질의 가짜 깊이 레이블을 생성할 수 있는가?
• RQ2 고해상도 추론과 다중 시야 융합을 사용해 초기 비지도 가짜 레이블을 정련함으로써 깊이 추정 정확도는 어떻게 향상되는가?
• RQ3 정련된 가짜 레이블을 사용한 반복적 자기학습이 비지도와 지도 학습 MVS 네트워크 간 성능 격차를 어느 정도 줄일 수 있는가?
• RQ4 이 방법의 한계는 무늬가 없는 영역에서 어떻게 나타나며, 이를 어떻게 보완할 수 있는가?
• RQ5 제안된 정련 파이프라인은 학습 반복 과정에서 안정적이고 일관된 성능 향상을 이끌어내는가?

주요 결과

• 제안된 자기지도 학습 프레임워크는 DTU 데이터셋에서 기존 비지도 MVS 네트워크를 크게 앞서간다.
• 반복적인 자기학습을 통해 세 번째 반복 후 f-score가 88.42%에 도달했으며, 지도 학습 대비 0.12% 낮을 뿐이지 (88.61%), 거의 동일한 성능을 달성한다.
• 세 번째 반복 이후 성능이 안정화되어 계속적인 자기지도 학습으로 인한 성능 저하가 없음을 보여준다.
• 고해상도 가짜 레이블 정련과 다중 시야 융합을 사용함으로써 재구성 품질이 크게 향상되어 총 오차가 0.567에서 0.363으로 감소한다.
• 이 방법은 비지도 MVS 네트워크 중 최고 성능을 기록하며, 다중 시야 영상만으로도 강력한 일반화 능력을 보여준다.
• 주요 한계는 여전히 무늬가 없는 영역에서 나타나며, 이는 광학 일관성이 부족해 초기 비지도 단계에서 깊이 레이블을 생성하지 못하기 때문이다.