[論文レビュー] MVS2D: Efficient Multi-view Stereo via Attention-Driven 2D Convolutions

Zhenpei Yang, Zhile Ren+2 more|arXiv (Cornell University)|Apr 27, 2021

Advanced Vision and Imaging参考文献 41被引用数 4

ひとこと要約

MVS2Dは、2次元畳み込みネットワークに多視点制約を統合するためのアテンション機構を活用する、非常に効率的なマルチビューステレオ手法を提案する。これにより、最先端の深度推定精度を達成するとともに、従来手法と比較して最大48倍高速化された。本手法はエピポーラ線アテンションを用いて、計算コストを最小限に抑えながら複数の視点間の特徴を統合する。

ABSTRACT

Deep learning has made significant impacts on multi-view stereo systems. State-of-the-art approaches typically involve building a cost volume, followed by multiple 3D convolution operations to recover the input image's pixel-wise depth. While such end-to-end learning of plane-sweeping stereo advances public benchmarks' accuracy, they are typically very slow to compute. We present \ouralg, a highly efficient multi-view stereo algorithm that seamlessly integrates multi-view constraints into single-view networks via an attention mechanism. Since \ouralg only builds on 2D convolutions, it is at least $2 imes$ faster than all the notable counterparts. Moreover, our algorithm produces precise depth estimations and 3D reconstructions, achieving state-of-the-art results on challenging benchmarks ScanNet, SUN3D, RGBD, and the classical DTU dataset. our algorithm also out-performs all other algorithms in the setting of inexact camera poses. Our code is released at \url{https://github.com/zhenpeiyang/MVS2D}

研究の動機と目的

• 最先端の3次元畳み込みベースのマルチビュー・ステレオ（MVS）手法の高い計算コストを低減しつつ、精度を維持または向上させること。
• 3次元コストボリュームやグローバルシーン表現に依存せずに、単一視点2次元畳み込みニューラルネットワークアーキテクチャに多視点幾何制約をスムーズに統合すること。
• アテンション機構におけるマルチスケール特徴統合を可能にすることで、不正確なカメラポーズに対しても頑健性を向上させること。
• 深度推定の品質を損なわせることなく、挑戦的なベンチマークで高い推論速度を達成すること。

提案手法

• 複数の参照画像からのエピポーラ線に沿って特徴を統合するエピポーラアテンションモジュールを導入し、参照画像内のクエリピクセルに特徴を集約する。
• ネットワーク全体で2次元畳み込みのみを用いることで、高コストな3次元畳み込みを回避し、高速な推論を実現する。
• ネットワークと同時に最適化される学習可能な深度符号化を採用し、深度仮説を表現することで、特徴表現を向上させる。
• エンコーダ・デコーダアーキテクチャにマルチスケールアテンションモジュールを適用し、カメラポーズに不確実性がある状況でも頑健性を向上させる。
• 標準的な2次元U-Netバックボーンにアテンションモジュールを統合することで、既存の単一視点深度推定フレームワークへの容易な統合を可能にする。
• 単一視点と多視点特徴の早期統合を活用し、中間表現に3次元幾何的ヒントを豊かに組み込む。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みを一切使用せず、2次元畳み込みのみでマルチビュー・ステレオを実現できるか。また、最先端の精度を維持しつつ、推論速度を著しく向上できるか？
• RQ2 明示的な3次元コストボリューム構築なしに、エピポーラ線に沿ったアテンション機構が多視点特徴を効果的に統合できるか？
• RQ3 ノイズや不正確なカメラポーズ下で、マルチスケールアテンションがどれほど頑健性を向上させるか？
• RQ4 MVSタスクにおいて、固定符号化（コサインや線形）よりも、エンド・ツー・エンドで学習可能な深度符号化が優れているか？

主な発見

• MVS2Dは、ScanNet、SUN3D、RGBD、DTUベンチマークで最先端の性能を達成し、ノイズのあるポーズ下でもScanNetでAbsRel 0.059、DTUでAbsRel 0.059を達成した。
• DTUで640×480解像度で36.4 FPSで実行可能であり、PatchmatchNetの2.2倍、MVSNetの4.7倍高速であった。
• DTUバリデーションセットでは、RMSEが14.769 mmで、誤差が1.0 mm未満に収まる割合が71.8%に達し、PatchmatchNet（RMSE 32.348 mm）を上回った。
• アブレーションスタディの結果、学習可能な深度符号化により、AbsRelが均一符号化の0.139から0.059に改善され、性能向上における重要な役割を果たしていることが示された。
• ノイズのあるポーズ設定下で、マルチスケールアテンションを備えたMVS2D（Ours-robust）はAbsRel 0.059を達成し、MVSNet（0.094）やDPSNet（0.094）を上回り、強い頑健性を示した。
• SOTA精度を維持しながら、NASの48倍、DPSNetの39倍、MVSNetの10倍高速であり、計算効率に優れた性能を発揮した。