[論文レビュー] PHI-MVS: Plane Hypothesis Inference Multi-view Stereo for Large-Scale Scene Reconstruction

Shang Sun, Yunan Zheng+3 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Vision and Imaging参考文献 33被引用数 5

ひとこと要約

PHI-MVS は、フィルタリングされた深度マップ上でマークフ・ランダムフィールド（MRF）を用いて平面仮説を生成・選択することで、テクスチャの欠落した領域の再構成を向上させる、新しいマルチビューステレオパイプラインを提案する。同時に、拡張畳み込みに類似したスキームを採用することでステレオマッチングの速度を向上させている。本手法は、計算時間のわずかな増加でETH3Dベンチマークで最先端の性能を達成している。

ABSTRACT

PatchMatch based Multi-view Stereo (MVS) algorithms have achieved great success in large-scale scene reconstruction tasks. However, reconstruction of texture-less planes often fails as similarity measurement methods may become ineffective on these regions. Thus, a new plane hypothesis inference strategy is proposed to handle the above issue. The procedure consists of two steps: First, multiple plane hypotheses are generated using filtered initial depth maps on regions that are not successfully recovered; Second, depth hypotheses are selected using Markov Random Field (MRF). The strategy can significantly improve the completeness of reconstruction results with only acceptable computing time increasing. Besides, a new acceleration scheme similar to dilated convolution can speed up the depth map estimating process with only a slight influence on the reconstruction. We integrated the above ideas into a new MVS pipeline, Plane Hypothesis Inference Multi-view Stereo (PHI-MVS). The result of PHI-MVS is validated on ETH3D public benchmarks, and it demonstrates competing performance against the state-of-the-art.

研究の動機と目的

• パッチマッチベースのMVSが、類似度測定が不十分であるため、テクスチャの欠落した平面の再構成に失敗する問題を解決すること。
• 計算コストを著しく増加させることなく、低テクスチャ領域における3次元再構成の完全性を向上させること。
• 正確性を維持しながら実行時間を短縮する、効率的なステレオマッチングの高速化スキームを開発すること。
• 平面仮説推定と高速化技術を統合した実用的でエンドツーエンドのMVSパイプラインを構築すること。

提案手法

• ステレオマッチングの結果が悪い領域において、フィルタリングされた初期深度マップから複数の平面仮説を生成する。
• 空間的一致性と滑らかさを活用して、画素ごとに最適な深度仮説を選択するためにマークフ・ランダムフィールド（MRF）を用いる。
• MRF推論後に幾何的一致性フィルタリングを適用して外れ値を除去する。
• ステレオマッチングの過程で、拡張畳み込みに類似したサンプリング戦略を採用することで、メモリアクセスを削減し、計算を高速化する。
• 効率的なステレオマッチングを実現するため、パッチマッチに基づく2段階の深度初期化と空間的拡散プロセスを採用する。
• 効率性を考慮し、単一イテレーションでTRWデコードを用いたMRFのMAP推論を実行する。

実験結果

リサーチクエスチョン

• RQ1 平面仮説推定は、テクスチャの欠落した領域における3次元再構成の完全性を顕著に向上させることができるか？
• RQ2 MRFに基づく仮説選択は、単純なコスト最小化に比べて、深度仮説の選択において優れているか？
• RQ3 拡張畳み込みに類似したサンプリングスキームは、正確性の損失を最小限に抑えつつ、ステレオマッチングを効果的に高速化できるか？
• RQ4 提案されたPHI-MVSパイプラインは、大規模なベンチマークにおいて最先端のMVS手法と比較してどうか？

主な発見

• ETH3Dトレーニングセットにおいて、1cmから10cmまでの全許容誤差レベルで、MRFやPHIモジュールを含まないバリアントよりも高い平均F1スコアを達成した。
• 追加のPHIモジュールによる実行時間の増加はわずかに約9秒であり、グラフ構築ステップが最も計算時間がかかっている。
• 拡張畳み込みに類似した高速化スキームにより、深度マップ推定時間は最大30％短縮されたが、10cm許容誤差でのF1スコアはわずか0.5％低下した。
• ETH3Dハイレゾルーションテストセットにおいて、PHI-MVSは正確性と完全性の両面で最先端の性能を達成した。5/5設定では、1cmで69.17、2cmで82.28、5cmで91.80、10cmで95.63のF1スコアを記録した。
• 画像を1/4解像度にダウンサンプリングすると、1cm許容誤差でのF1スコアが11.67ポイント低下した。これは、提案された高速化スキームがダウンサンプリングよりも効果的であることを確認している。
• 本手法は、特に平面構造が豊富な屋内環境においても、多様なシーンに対して安定した性能を維持している。