[論文レビュー] MVS^2: Deep Unsupervised Multi-view Stereo with Multi-View Symmetry

Yuchao Dai, Zhidong Zhu+2 more|arXiv (Cornell University)|Aug 30, 2019

Advanced Vision and Imaging参考文献 36被引用数 18

ひとこと要約

本稿では、マルチビュー対称性を用いて全視点の深度マップを同時に予測し、教師なし深度ラベルを用いずにクロスビュー一貫性を強制する、マルチビューステレオにおける最初の教師なしディープラーニングフレームワーク、MVS^2を提案する。本手法は、光度的一致性と対称的でエンドツーエンドの訓練により学習されたオクルージョンマップを活用することで、微調整なしに強力な汎用性を示し、複数のベンチマークで最先端の性能を達成した。

ABSTRACT

The success of existing deep-learning based multi-view stereo (MVS) approaches greatly depends on the availability of large-scale supervision in the form of dense depth maps. Such supervision, while not always possible, tends to hinder the generalization ability of the learned models in never-seen-before scenarios. In this paper, we propose the first unsupervised learning based MVS network, which learns the multi-view depth maps from the input multi-view images and does not need ground-truth 3D training data. Our network is symmetric in predicting depth maps for all views simultaneously, where we enforce cross-view consistency of multi-view depth maps during both training and testing stages. Thus, the learned multi-view depth maps naturally comply with the underlying 3D scene geometry. Besides, our network also learns the multi-view occlusion maps, which further improves the robustness of our network in handling real-world occlusions. Experimental results on multiple benchmarking datasets demonstrate the effectiveness of our network and the excellent generalization ability.

研究の動機と目的

• 大規模な教師あり深度データに強く依存する教師ありMVS手法の限界に対処する。このようなデータはしばしば入手困難であり、未観測のシナリオへの汎用性を阻害する。
• 3次元の監視を必要とせず、複数の視点間で幾何学的一致性を維持する教師なしディープラーニングフレームワークを構築する。
• 対称的マルチビュー予測を通じて、深度マップとオクルージョンマップを同時に学習することで、現実世界のオクルージョンに対してよりロバストな性能を実現する。
• クロスビュー深度一貫性によって制約された画像ワープ誤差のみが、深層MVSネットワークのエンドツーエンド訓練を効果的に駆動できることを示す。

提案手法

• ネットワークは対称的アーキテクチャを採用し、入力された全視点の深度マップを同時に予測する。1つの参照画像に依存するのではなく、各視点を同等に扱う。
• 微分可能なホモジエトリー・ワープを用いて、予測された深度マップに基づき、視点間の光度的一致性損失を生成する。
• 異なる視点からの深度マップ間の幾何学的一致性を促進するため、クロスビュー一貫性損失を導入する。これにより、学習および推論時に3次元的一致性が保証される。
• 深度の一貫性を活用して、訓練中に遮蔽領域を検出し、抑制することで、マルチビューのオクルージョン推論を統合する。
• 教師あり深度マップを一切必要とせず、画像ワープ誤差のみを監視信号として、エンドツーエンドにネットワークを訓練する。
• オクルージョンマップと深度マップを交互に最適化することで、ロバスト性と一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師あり3次元監視なしに、ディープラーニングベースのMVSシステムが高品質な深度推定を達成できるか？
• RQ2 マルチビュー対称性を活用することで、複数の視点からの深度マップ間の幾何学的一致性をどのように強制できるか？
• RQ3 クロスビュー深度一貫性が、MVSネットワークの自己教師信号として効果的であるか？
• RQ4 学習されたオクルージョンマップの統合が、現実世界のオクルージョン状況におけるロバスト性をどのように向上させるか？
• RQ5 教師なしMVSモデルは、微調整なしに未観測データセットにどの程度汎用的に適用できるか？

主な発見

• MVS^2は、すべてのベンチマークデータセットで従来の幾何学的ベースの手法COLMAPを上回り、3次元監視なしでもディープ特徴学習の利点を示した。
• SUN3Dデータセットでは、MVS^2は絶対相対誤差（Abs Rel）が0.3488を達成し、COLMAP（0.6232）とDeMoN（0.2137）を上回り、DeepMVSなどの教師あり手法と同等またはそれを上回る主要指標を達成した。
• RGB-Dデータセットでは、MVS^2はAbs Relが0.4414、RMSEが1.2853を達成し、COLMAP（0.5389および1.5051）を上回り、微調整なしで強力な汎用性を示した。
• DTUデータセットでは、MVS^2はAbs Relが0.3729、RMSEが1.3938を達成し、COLMAP（0.3841および1.4795）を上回り、DeepMVSなどの教師あり手法に近い性能を達成した。
• Scenes11データセットでは、MVS^2はAbs Relが0.5981、RMSEが2.9477を達成し、COLMAP（0.6249および3.6575）を顕著に上回り、多様なシーンにわたる良好な汎用性を示した。
• Tanks and Templesにおける定性的な結果から、MVS^2は微調整なしに詳細な3次元ポイントクラウドを再構築でき、強力なゼロショット汎用性の能力を確認した。