[논문 리뷰] Learning to Adapt Multi-View Stereo by Self-Supervision

Arijit Mallick, Jörg Stückler외 1명|arXiv (Cornell University)|2020. 09. 28.

Advanced Vision and Imaging참고 문헌 37인용 수 5

한 줄 요약

이 논문은 지도 학습이 필요한 지도 없는 다중 시야 입체(МVS) 복원을 위한 메타학습 접근법을 제안한다. 이는 새로운 도메인에 대해 지도 없는 깊이 정보를 제공하지 않아도 빠른 적응을 가능하게 한다. 다양한 데이터셋에서 모델 무결성 메타학습(MAML)을 통해 네트워크를 훈련하고, 지도 없는 미세조정을 통해 개선함으로써 도메인 이동에 대한 강건성을 향상시킨다. 이 방법은 지도 없는 학습에서 DTU에서 최고 성능을 기록하며, 일부 지도 학습 기반 베이스라인을 넘어서는 핵심 지표에서 뛰어난 성능을 보인다.

ABSTRACT

3D scene reconstruction from multiple views is an important classical problem in computer vision. Deep learning based approaches have recently demonstrated impressive reconstruction results. When training such models, self-supervised methods are favourable since they do not rely on ground truth data which would be needed for supervised training and is often difficult to obtain. Moreover, learned multi-view stereo reconstruction is prone to environment changes and should robustly generalise to different domains. We propose an adaptive learning approach for multi-view stereo which trains a deep neural network for improved adaptability to new target domains. We use model-agnostic meta-learning (MAML) to train base parameters which, in turn, are adapted for multi-view stereo on new domains through self-supervised training. Our evaluations demonstrate that the proposed adaptation method is effective in learning self-supervised multi-view stereo reconstruction in new domains.

연구 동기 및 목표

• 외부 환경(예: 실외 풍경)에서 훈련된 모델이 다른 환경(예: 실내 물체 스캔)에서 성능이 떨어지는 다중 시야 입체 복원에서의 도메인 이동 문제를 해결한다.
• 비용이 많이 들고 확보하기 어려운 진짜 깊이 정보(annotation)에 대한 의존도를 줄이기 위해 지도 없는 학습을 활용한다.
• 메타학습을 통해 새로운 도메인에 대한 일반화 및 적응 능력을 향상시켜, 최소한의 레이블 데이터로도 빠른 미세조정을 가능하게 한다.
• 오염된 픽셀(예: 가림막) 등의 영향을 줄이기 위해 가중치를 조절할 수 있는 학습 가능한 신뢰도 마스크를 도입함으로써 지도 없는 훈련을 향상시킨다.
• 메타학습된 모델이 단순한 미세조정 모델보다 더 잘 일반화됨을 보이며, 지도 학습으로 사전 훈련한 경우에도 성능이 뛰어나다는 것을 입증한다.

제안 방법

• 모델 무관 메타학습(MAML)을 도입하여, 소수의 단계로 지도 없는 미세조정을 통해 새로운 도메인에 신속하게 적응할 수 있는 기본 네트워크 가중치를 훈련한다.
• 다양한 실내 및 실외 풍경을 포함한 지도된 깊이 정보가 있는 BlendedMVS 데이터셋에서 모델을 사전 훈련하여 이식 가능한 특징을 학습한다.
• 다른 가시화 재투영 손실을 사용하여 지도 없는 학습 방식으로 목표 도메인(예: DTU 데이터셋)에서 메타학습된 모델을 미세조정한다.
• MVSNet을 확장하여 각 픽셀에 대해 가중치를 할당하는 학습 가능한 신뢰도 마스크를 도입하여, 오염된 픽셀(예: 가림막) 등의 영향을 줄인다.
• 비용 볼륨에 3D 컨볼루션 리파인먼트 헤드를 적용하여 깊이를 예측하고, 훈련 중에 신뢰도 마스크가 손실에 영향을 주도록 한다.
• 신뢰도가 높은 픽셀에서 높은 오차가 발생할 경우를 방지하기 위해 가시화 가능한 손실을 사용하여, 신뢰도 마스크를 종합적으로 훈련한다. 이는 노이즈가 많은 예측에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 표준적인 미세조정과 비교해 메타학습이 지도 없는 다중 시야 입체 복원에서 예측 불가능한 도메인에서 성능을 향상시키는가?
• RQ2 학습 가능한 신뢰도 마스크를 도입함으로써 오염 및 이상치의 영향을 줄여 지도 없는 훈련을 향상시킬 수 있는가?
• RQ3 메타학습된 지도 없는 적응 방식은 지도 학습 사전 훈련 후 지도 없는 미세조정 방식과 비교해 어떻게 성능을 냈는가?
• RQ4 메타학습된 모델은 DTU와 같은 벤치마크 데이터셋에서 지도 학습 방법과 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 제안된 방법은 실외 건축 풍경에서 실내 물체 스캔에 이르기까지 다양한 도메인 간에 일반화 가능한가?

주요 결과

• 제안된 메타학습 접근법은 DTU 데이터셋에서 2 mm 임계값에서 68.67%의 F-스코어를 기록하며, 지도 없는 기반 모델인 MVSNet(51.98%)와 지도 학습 기반의 SurfaceNet(67.49%)을 모두 상회한다.
• 신뢰도 마스크를 도입한 결과 68.67%의 F-스코어를 기록한 반면, 마스크 없이 훈련한 경우는 65.31%로, 이상치 처리의 효과를 입증한다.
• 메타학습된 모델은 지도 학습 사전 훈련 기반 모델(Sup PT bMVS, Self FT DTU)보다 지도 없는 미세조정에서 총합 F-스코어(68.67% 대 67.49%)에서 뛰어난 성능을 보였다.
• 정성적 결과에서는 더 완전한 복원과 세부 사항 보존이 뛰어나며, 지도 학습 기반 MVSNet과 유사한 결과를 보이고, SurfaceNet을 능가한다.
• 절단 분석 결과, 메타학습이 사전 훈련이 지도 학습이어도 표준적인 미세조정보다 적응 성능을 향상시킨다는 점을 확인했다.
• 이 방법은 DTU 벤치마크에서 지도 없는 МVS 방법 중 최고 성능을 기록하였으며, 특히 1 mm 및 2 mm 임계값에서의 총합 F-스코어에서 두드러진 성능을 보였다.