[論文レビュー] DeepMVS: Learning Multi-view Stereopsis

Po‐Han Huang, Kevin Matzen+3 more|arXiv (Cornell University)|Apr 2, 2018

Advanced Vision and Imaging参考文献 32被引用数 31

ひとこと要約

DeepMVSは、任意の数の順不同でキャリブレーション済みの画像を処理し、高品質な視差マップを予測するための深層畳み込みニューラルネットワークを提案する。MVS-Synthというフォトリッチな合成データセット上で教師あり事前学習を行い、マルチレイヤーVGG-19特徴を統合し、スキップ接続付きエンコーダデコーダアーキテクチャとDenseCRFのリファインメントを採用することで、特にテクスチャの欠落した領域や細い構造部の領域で最先端の性能を達成し、ETH3DベンチマークにおいてDeMoNを上回り、COLMAPと同等の幾何誤差を達成した。

ABSTRACT

We present DeepMVS, a deep convolutional neural network (ConvNet) for multi-view stereo reconstruction. Taking an arbitrary number of posed images as input, we first produce a set of plane-sweep volumes and use the proposed DeepMVS network to predict high-quality disparity maps. The key contributions that enable these results are (1) supervised pretraining on a photorealistic synthetic dataset, (2) an effective method for aggregating information across a set of unordered images, and (3) integrating multi-layer feature activations from the pre-trained VGG-19 network. We validate the efficacy of DeepMVS using the ETH3D Benchmark. Our results show that DeepMVS compares favorably against state-of-the-art conventional MVS algorithms and other ConvNet based methods, particularly for near-textureless regions and thin structures.

研究の動機と目的

• 従来のMVSアルゴリズムがテクスチャの欠落した領域、細い構造部、反射面を処理する際の限界を克服すること。
• ポーズや画像数に制限のない任意の数の順不同入力画像を処理できる深層学習ベースのMVS手法を開発すること。
• 合成データと現実世界の教師信号、およびセマンティック特徴の統合を組み合わせることで、視差予測のロバスト性と正確性を向上させること。
• マルチスケール特徴集約とCRFリファインメントを組み合わせたエンドツーエンド学習が、従来の光度最適化手法を上回ることを示すこと。

提案手法

• 既知のカメラポーズとキャリブレーションを用いて、基準画像とその周辺視点から平面スイープボリュームを構築する。
• スキップ接続を備えたU-Netスタイルのエンコーダデコーダネットワークが、広範囲の空間領域にわたる特徴を集約して視差マップを予測する。
• デコーダに事前学習済みのVGG-19特徴を統合し、セマンティックコンテキストを提供し、特徴表現を向上させる。
• ネットワークは、120の都市シーンからなる大規模なフォトリッチな合成データセットMVS-Synth上で事前学習された後、実データで微調整される。
• 最終的な視差予測は、すべての周辺視点からの特徴をマックスプーリング層を用いて統合することで得られ、入力順序に依存しない。
• 後処理としてDenseCRFリファインメントステップを実施し、ノイズを低減し、特に信頼度が低い領域（例：反射面）でのエッジの整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、従来のMVS手法と比較して、テクスチャの欠落した領域や細い構造部の領域で優れた視差推定を達成できるか？
• RQ2 フォトリッチな合成データセット上で事前学習することで、実世界のMVSベンチマークにおける汎化性能と性能が顕著に向上するか？
• RQ3 事前学習済みVGG-19ネットワークのマルチレイヤーセマンティック特徴が、視差予測の正確性にどの程度寄与するか？
• RQ4 エンコーダデコーダアーキテクチャにスキップ接続を組み合わせ、DenseCRFリファインメントを統合することで、視差マップの品質にどのような影響を与えるか？
• RQ5 深層学習モデルは、ポーズや画像数に制限のない任意の数の順不同入力画像を効果的に処理できるか？

主な発見

• ETH3Dベンチマークにおいて、DeepMVSは幾何誤差0.036、光度誤差0.224を達成し、DeMoNを上回り、COLMAPと同等の全体的な性能を示した。
• 従来の手法が失敗するような挑戦的な領域（空、壁、床など）において、DeepMVSはDeMoNよりも顕著に正確な予測を生成した。
• MVS-Synthの合成データセットの使用により、テクスチャの欠落した領域の誤差が低減され、定性的・定量的アブレーションの両方で、空や反射面の予測が顕著に改善された。
• VGG-19特徴とDenseCRFリファインメントの追加により、幾何誤差が0.040から0.036、光度誤差が0.226から0.224に改善された。
• アブレーションスタディにより、各コンponent（MVS-Synth事前学習、VGG特徴、DenseCRF）が性能向上に独立して寄与していることが確認された。
• 強力な結果を示したが、依然として植生領域では困難を抱え、量子化アーチファクトに悩まされ、平面スイープボリューム計算と深層ネットワークのサイズによって推論速度が制限されている。