[論文レビュー] IterMVS: Iterative Probability Estimation for Efficient Multi-View Stereo

Fangjinhua Wang, Silvano Galliani+2 more|arXiv (Cornell University)|Dec 9, 2021

Advanced Vision and Imaging被引用数 8

ひとこと要約

IterMVS は、マルチスケールマッチング特徴を用いて複数回の反復処理でピクセルごとの深度分布を改善する、軽量で GRU ベースの反復的確率推定器を提案する。これにより、優れた効率性と頑健性を備えた高解像度マルチビューステレオが実現される。DTU において最先端の性能を達成し、Tanks&Temples や ETH3D においても一般化性能が向上し、メモリと実行時間の両面で先行手法を上回る。

ABSTRACT

We present IterMVS, a new data-driven method for high-resolution multi-view stereo. We propose a novel GRU-based estimator that encodes pixel-wise probability distributions of depth in its hidden state. Ingesting multi-scale matching information, our model refines these distributions over multiple iterations and infers depth and confidence. To extract the depth maps, we combine traditional classification and regression in a novel manner. We verify the efficiency and effectiveness of our method on DTU, Tanks&Temples and ETH3D. While being the most efficient method in both memory and run-time, our model achieves competitive performance on DTU and better generalization ability on Tanks&Temples as well as ETH3D than most state-of-the-art methods. Code is available at https://github.com/FangjinhuaWang/IterMVS.

研究の動機と目的

• 高解像度画像や大規模シーンにおける 3D CNN ベースのマルチビューステレオ（MVS）手法の非効率性とスケーラビリティの制限を解消すること。
• 粗いから細かい段階的な MVS 手法における誤差伝搬と制限された探索範囲の問題を克服すること。
• 完全な深度範囲解像度を維持しながら、メモリと実行時間の両面で効率的な手法を構築し、テクスチャが欠落した領域や隠蔽領域などの困難な状況に対しても頑健性を確保すること。
• Tanks&Temples や ETH3D などの多様なベンチマークにおいて、先行する学習ベース手法が性能を発揮できない問題を改善し、一般化性能を向上させること。
• 信頼性と一貫性を高めるために、信頼度推定とビュー重み学習を統合すること。

提案手法

• 隠れ状態にピクセルごとの深度分布を保持する GRU ベースの確率推定器を採用し、3D 確率ボリュームを完全に保存する必要を回避する。
• 各反復でマルチスケールマッチング特徴を GRU 隠れ状態に組み込み、反復的に深度確率分布を改善する。
• 分類（マルチモーダル分布に対応）と回帰（サブピクセル精度を維持）を組み合わせたハイブリッド深度推定戦略を採用する。
• ピクセル単位のビュー重みを学習して、参照画像とソース画像間の共通可視領域を特定し、マッチングの信頼性を向上させる。
• 融合処理の前に、信頼度フィルタリングを実施し、不確実な深度推定を除外する。しきい値 τ=0.3 を使用する。
• 再投影一貫性チェックを δ=1 および ε=0.01 を用いて複数の視点で深度推定を検証する。

実験結果

リサーチクエスチョン

• RQ1 再帰的で反復的な確率推定器は、3D CNN ベースの手法よりも低メモリ・低実行時間で高解像度 MVS を達成できるか？
• RQ2 GRU 隠れ状態に深度分布を保持することで、多様な現実世界のシーンにおいて、粗いから細かい手法よりも優れた一般化性能が得られるか？
• RQ3 ハイブリッド分類-回帰深度推定戦略は、マルチモーダル深度分布を効果的に処理しつつ、サブピクセル精度を維持できるか？
• RQ4 学習されたピクセル単位のビュー重みは、隠蔽領域や反射領域におけるマッチング信頼性をどの程度向上できるか？
• RQ5 信頼度推定を活用することで、反復的深度精緻化における頑健性と効率性を向上させられるか？

主な発見

• IterMVS は、すべての学習ベース MVS 手法の中で最も高い効率性を達成し、PatchmatchNet や他の最先端手法を上回る。
• DTU ベンチマークでは、競争力ある性能を達成し、先行手法と同等または上回る F スコアを記録しながら、顕著に少ないメモリ使用量と推論時間で実行される。
• Tanks&Temples や ETH3D において、IterMVS は PatchmatchNet や他の段階的手法と比較して優れた一般化能力を示し、ノイズの少ない再構築を実現する。
• 確率分布の可視化から、反復的精緻化により局所的最大値が抑制され、時間経過とともに単一で集中したピークに収束することが確認され、推定精度が向上している。
• ピクセル単位のビュー重みの可視化から、モデルが共通可視領域やテクスチャのある領域に高い重みを割り当て、隠蔽領域や反射的・鏡面的な表面には低い重みを割り当てていることが確認された。
• τ=0.3 で設定された信頼度フィルタリングは、信頼性の低い予測を効果的に除去し、よりクリアな最終的な深度マップと点群を生成する要因となっている。