[論文レビュー] M^3VSNet: Unsupervised Multi-metric Multi-view Stereo Network

Baichuan Huang, Hongwei Yi+4 more|arXiv (Cornell University)|Apr 21, 2020

Advanced Vision and Imaging参考文献 40被引用数 10

ひとこと要約

M^3VSNetは、ピクセル単位の損失関数とマルチスケール特徴量単位の損失関数を組み合わせ、法線-深度整合性正則化を適用することで、深度推定のロバスト性と完全性を向上させる教師なしマルチメトリックマルチビューステレオネットワークを提案する。DTUでは教師なし手法として最先端の性能を達成し、Tanks & Templesベンチマークでも先行する教師なしモデルを上回り、ファインチューニングなしに大規模で現実世界のシーンへも強力な一般化性能を示している。

ABSTRACT

The present Multi-view stereo (MVS) methods with supervised learning-based networks have an impressive performance comparing with traditional MVS methods. However, the ground-truth depth maps for training are hard to be obtained and are within limited kinds of scenarios. In this paper, we propose a novel unsupervised multi-metric MVS network, named M^3VSNet, for dense point cloud reconstruction without any supervision. To improve the robustness and completeness of point cloud reconstruction, we propose a novel multi-metric loss function that combines pixel-wise and feature-wise loss function to learn the inherent constraints from different perspectives of matching correspondences. Besides, we also incorporate the normal-depth consistency in the 3D point cloud format to improve the accuracy and continuity of the estimated depth maps. Experimental results show that M3VSNet establishes the state-of-the-arts unsupervised method and achieves comparable performance with previous supervised MVSNet on the DTU dataset and demonstrates the powerful generalization ability on the Tanks and Temples benchmark with effective improvement. Our code is available at https://github.com/whubaichuan/M3VSNet.

研究の動機と目的

• 教師ありMVS学習におけるアクセス可能な真値深度マップの欠如が一般化性とスケーラビリティを制限する問題に対処する。
• テクスチャが欠落している、反射的、または繰り返しのある領域などの困難な状況における教師なしMVS再構築のロバスト性と完全性を向上させる。
• 3次元世界座標系における法線-深度整合性を組み込むことで、深度マップの精度と連続性を向上させる。
• ピクセルレベルと特徴量レベルのマッチング制約を両方活用するマルチメトリック損失関数を設計し、対応学習を改善する。
• 大規模で現実世界のシーンに、ドメイン特化のファインチューニングなしに強いゼロショット一般化性能を示すことを実証する。

提案手法

• VGG16特徴量を用いたピクセル単位の光度損失とマルチスケール特徴量単位の類似度損失を組み合わせた新しいマルチメトリック損失を提案する。
• 事前学習済みVGG16から得られるマルチスケール特徴マップを用いて、マッチングの一貫性を確保するため、低レベルのテクスチャ情報と高レベルの意味的特徴を両方捉える。
• 3次元空間における推定された表面法線と局所的深度勾配の直交性を強制することで、法線-深度整合性正則化を導入する。
• マルチスケールピラミッド特徴量集約を用いて、より文脈的に豊かな3次元コストボリュームを構築し、特徴マッチングを改善する。
• 真値深度の監督なしに、マルチビュー画像のみを用いてエンドツーエンドでネットワークを学習する教師なしアプローチを採用する。
• Tanks & Templesベンチマークでの精度と完全性のバランスを図るために、深度統合時に光度閾値（0.6）を適用する。

実験結果

リサーチクエスチョン

• RQ1 ピクセル損失と特徴量類似度の両方を組み合わせたマルチメトリック損失が、ピクセル単位の制約を超えて教師なしMVS性能を向上させ得るか？
• RQ2 法線-深度整合性の組み込みが、推定された深度マップの精度と連続性にどのように影響するか？
• RQ3 教師なしMVSモデルがTanks & Templesベンチマークのような大規模で現実世界のシーンに、どの程度一般化可能か？
• RQ4 マルチスケール特徴表現が、テクスチャが欠落しているまたは反射的な領域におけるマッチングのロバスト性をどのように向上させるか？
• RQ5 提案手法が、真値監督なしに教師ありMVSNetと同等の性能を達成できるか？

主な発見

• M^3VSNetはDTUデータセットにおいて、教師なしMVS手法として最先端の性能を達成し、平均誤差が0.566、閾値が0.609であった。
• Tanks & Templesベンチマークでは、M^3VSNetの平均スコアは37.67であり、MVS²を上回り、他の教師なし手法よりも優れた性能を示した。
• Tanks & TemplesのPlaygroundシーンでは、M^3VSNetのスコアは47.39に達し、MVS²の43.48を顕著に上回った。
• モデルは強力なゼロショット一般化性能を示し、ファインチューニングなしに大規模な屋外シーンにおいて高品質な密度の高い点群を生成できた。
• マルチスケール特徴量単位の損失を組み込むことで、ピクセル単位の損失に比べて、テクスチャが欠落している領域や反射的な領域での誤マッチングエラーが低減した。
• 法線-深度整合性正則化により、複雑な表面幾何構造を示す領域でも、深度マップの連続性と精度が向上した。