[論文レビュー] PatchmatchNet: Learned Multi-View Patchmatch Stereo

Fangjinhua Wang, Silvano Galliani+3 more|arXiv (Cornell University)|Dec 2, 2020

Advanced Vision and Imaging参考文献 42被引用数 23

ひとこと要約

PatchmatchNetは、3次元コストボリューム正則化を学習可能な適応的伝搬および評価に置き換えることで、エンドツーエンドで学習可能なマルチスケールPatchmatchベースのステレオ手法を提案する。DTU、Tanks & Temples、ETH3Dで最先端の精度を達成するとともに、従来の学習ベースの手法と比較して少なくとも2.5倍高速で、メモリ使用量は2倍少ない。

ABSTRACT

We present PatchmatchNet, a novel and learnable cascade formulation of Patchmatch for high-resolution multi-view stereo. With high computation speed and low memory requirement, PatchmatchNet can process higher resolution imagery and is more suited to run on resource limited devices than competitors that employ 3D cost volume regularization. For the first time we introduce an iterative multi-scale Patchmatch in an end-to-end trainable architecture and improve the Patchmatch core algorithm with a novel and learned adaptive propagation and evaluation scheme for each iteration. Extensive experiments show a very competitive performance and generalization for our method on DTU, Tanks & Temples and ETH3D, but at a significantly higher efficiency than all existing top-performing models: at least two and a half times faster than state-of-the-art methods with twice less memory usage.

研究の動機と目的

• 学習ベースのマルチビューステレオ（MVS）手法における3次元コストボリューム正則化の高コストなメモリ使用量と計算コストを低減すること。
• 古典的なPatchmatchアルゴリズムをエンドツーエンドで微分可能なディープラーニングフレームワークに統合し、効率性と精度を向上させること。
• メモリ使用量と実行時間を最小限に抑えることで、リソース制約のあるデバイスでも高解像度の深度推定を可能にすること。
• 学習可能な適応的サンプリング戦略を用いて、オクルージョン、テクスチャレス領域、深度不連続性といった困難な状況下でのPatchmatchのロバスト性を向上させること。
• 粗い段階から細かい段階へと段階的に深度マップを精錬するコarse-to-fineキャスケードアーキテクチャを構築し、低メモリフットプリントを維持すること。

提案手法

• 粗いスケールから細かいスケールへと処理を行う、新規のキャスケード型マルチスケールPatchmatchフレームワークを導入する。
• Patchmatchにおける固定伝搬およびコスト評価を、局所的特徴と深度に基づく重み付けを用いる学習可能な適応的モジュールに置き換える。
• ピクセルとその候補サンプリングポイント間の特徴類似度重みを、グループ別相関を用いて計算する。
• 候補ポイントと現在のピクセル間の逆深度差分を用いて深度重みを計算し、シグモイド関数で正規化することで、大きな深度差を低減する。
• 可視性推定をコスト集約段階で統合し、ディープ特徴と微分可能なサンプリング戦略を用いることで、マッチングの信頼性を向上させる。
• 一般化性能と可視性の不確実性に対するロバスト性を高めるために、ランダムサンプリングを用いた頑健な訓練戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 Patchmatchアルゴリズムは、マルチビューステレオ用途におけるエンドツーエンドで学習可能なディープラーニングフレームワークに効果的に統合可能か？
• RQ2 学習可能な適応的伝搬および評価メカニズムは、困難な視覚的条件下でのPatchmatchの精度とロバスト性を向上させられるか？
• RQ3 3次元コストボリューム正則化をPatchmatchベースのキャスケードに置き換えることで、パフォーマンスを損なわずにメモリ使用量と実行時間を削減できるか？
• RQ4 本手法は、テクスチャレス領域や非ラムベールト面を有する多様なデータセットに、どのように一般化するか？
• RQ5 粗い段階から細かい段階へのキャスケードアーキテクチャは、単一段階推論と比較して、深度推定の精度と完全性をどの程度向上させるか？

主な発見

• PatchmatchNetは、DTU、Tanks & Temples、ETH3Dベンチマークで競争力のある性能を達成し、最終段階でDTUの評価セットにおいて平均誤差0.441 mmを記録した。
• 本手法は、最先端の学習ベースMVSモデルと比較して、約50％のメモリ使用量削減と、少なくとも2.5倍の高速化を達成した。
• マルチステージフレームワークにより、再構築品質が段階的に向上し、DTUでは段階0で0.352 mmから段階3で0.564 mmへと全体誤差が低下した。これは、細かいスケールでの精度と完全性の向上を示している。
• 適応的伝搬および評価戦略は、物体の境界では局所領域に集中し、テクスチャレス領域では広い文脈にわたって拡張するサンプリングパターンを適切に調整した。
• 可視化結果から、モデルが関連する領域からサンプリングしており、深度不連続性を回避し、曖昧な領域でのマッチング信頼性を向上させていることが確認された。
• Tanks & Temples や ETH3D といった実世界のデータセットに対しても、本手法は良好な一般化性能を示し、照明変化、未テクスチャ面、複雑な幾何構造に対してもロバストであることが確認された。