[論文レビュー] Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation

Hongwei Yi, Zizhuang Wei+5 more|arXiv (Cornell University)|Dec 6, 2019

Advanced Vision and Imaging参考文献 45被引用数 8

ひとこと要約

本稿では、自己適応的視点統合を備えたピラミッドマルチビューステレオネットワークPVA-MVSNetを提案する。この手法は、ピクセル単位およびボクセル単位の自己適応的統合を通じて視点固有の重要度を学習し、マルチメトリックピラミッド統合を活用することで、深度推定の精度と3D再構築の完全性を向上させる。DTUデータセットでは全体誤差0.357を達成し、最先端性能を実現した一方で、Tanks and Templesでも微調整なしに優れた一般化性能を示した。

ABSTRACT

n this paper, we propose an effective and efficient pyramid multi-view stereo (MVS) net with self-adaptive view aggregation for accurate and complete dense point cloud reconstruction. Different from using mean square variance to generate cost volume in previous deep-learning based MVS methods, our extbf{VA-MVSNet} incorporates the cost variances in different views with small extra memory consumption by introducing two novel self-adaptive view aggregations: pixel-wise view aggregation and voxel-wise view aggregation. To further boost the robustness and completeness of 3D point cloud reconstruction, we extend VA-MVSNet with pyramid multi-scale images input as extbf{PVA-MVSNet}, where multi-metric constraints are leveraged to aggregate the reliable depth estimation at the coarser scale to fill in the mismatched regions at the finer scale. Experimental results show that our approach establishes a new state-of-the-art on the extsl{ extbf{DTU}} dataset with significant improvements in the completeness and overall quality, and has strong generalization by achieving a comparable performance as the state-of-the-art methods on the extsl{ extbf{Tanks and Temples}} benchmark. Our codebase is at \hyperlink{https://github.com/yhw-yhw/PVAMVSNet}{https://github.com/yhw-yhw/PVAMVSNet}

研究の動機と目的

• 既存の深層学習ベースのMVS手法がマッチングのあいまいさや不完全な3D再構築に対処できないという限界を解消すること。
• マルチビューのコストボリュームにおける視点固有の重要度を学習することで、深度推定のロバスト性と完全性を向上させること。
• マルチメトリック制約を用いたマルチスケール深度マップの統合により、再構築品質を向上させること。
• 微調整なしに多様なベンチマークにうまく一般化できる、効率的でエンドツーエンドのフレームワークを構築すること。

提案手法

• 視点間の分散に基づき、動的にコストボリュームを重み付けする2つの自己適応的視点統合モジュール（ピクセル単位およびボクセル単位）を導入し、均等な寄与を仮定しない適応的統合を実現する。
• 複数スケールの画像入力を並列に処理するピラミッドスケール入力戦略を採用し、複数の解像度で同時に深度マップを生成することで、特徴表現の質とロバスト性を向上させる。
• 光度的および幾何的整合性の2つのメトリック制約を適用し、粗いスケールからの信頼性の高い深度推定を細かいスケールの深度マップの不一致領域の修正に活用する。
• 3Dコストボリュームから最終的な深度マップを生成する深度マップ推定器を用い、適応的統合による特徴正則化でノイズや外れ値を低減する。
• スケール間の特徴を逐次的フィンガリングを避けて並列処理することで、スケール統合時の量子化誤差を最小限に抑える。
• SfMに基づく視点ランク付けを活用し、高品質な近隣視点を優先し、遠方または低品質な視点を抑制する自己適応モジュールのガイドラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 視点の信頼性と分散に基づき動的に重み付けを行う自己適応的視点統合は、深度推定の精度を向上させることができるか？
• RQ2 マルチメトリック制約を用いたマルチスケールピラミッド統合は、3D再構築の完全性とロバスト性をどのように向上させるか？
• RQ3 提案手法は、微調整なしにDTUやTanks and Templesといった多様なベンチマークに一般化可能か？
• RQ4 入力視点数やピラミッドレベルの変更が、再構築品質および処理効率に与える影響は何か？
• RQ5 既存の最先端MVSネットワークと比較して、本手法のメモリ使用量と推論時間はどの程度か？

主な発見

• PVA-MVSNetは、全体誤差0.357 mmを達成し、DTUデータセットで新たな最先端性能を記録した。
• VA-MVSNet（0.369 mm）と比較して、全体誤差を0.012 mm低減し、マルチメトリックピラミッド統合の有効性を実証した。
• マルチメトリックピラミッド深度統合を導入したことで、完全性が平均7.0%向上した一方、精度は0.39%のわずかな低下にとどまった。
• テスト時に5つの入力視点を使用した場合が最良の性能を示し、7つの視点まで追加してもさらに改善は最小限にとどまり、自己適応的統合による効果的な視点選択が有効であることが示された。
• 微調整なしにTanks and Templesベンチマークでも、最先端手法と同等の性能を維持し、優れた一般化性能を示した。
• 1視点あたり1.01秒の推論時間、24.87GBのメモリ使用量を達成し、VA-MVSNetと比較して0.1秒のわずかなオーバーヘッドにとどまり、マルチスケール特徴の並列処理が効率的であることが確認された。