[論文レビュー] Cost Volume Pyramid Based Depth Inference for Multi-View Stereo

Jiayu Yang, Wei Mao+2 more|arXiv (Cornell University)|Dec 18, 2019

Advanced Vision and Imaging参考文献 43被引用数 19

ひとこと要約

本稿では、反復的残留深度精製を用いて粗くから細かくまでコストボリュームを構築する、コストボリュームピラミッドに基づくニューラルネットワーク、CVP-MVSNetを提案する。各ピラミッドレベルで解像度に適したコンactなコストボリュームを構築することで、Point-MVSNetなどの最先端モデルと比較して6倍高速な推論を実現しながら、ベンチマークデータセット上で同等または優れた精度を維持する。

ABSTRACT

We propose a cost volume-based neural network for depth inference from multi-view images. We demonstrate that building a cost volume pyramid in a coarse-to-fine manner instead of constructing a cost volume at a fixed resolution leads to a compact, lightweight network and allows us inferring high resolution depth maps to achieve better reconstruction results. To this end, we first build a cost volume based on uniform sampling of fronto-parallel planes across the entire depth range at the coarsest resolution of an image. Then, given current depth estimate, we construct new cost volumes iteratively on the pixelwise depth residual to perform depth map refinement. While sharing similar insight with Point-MVSNet as predicting and refining depth iteratively, we show that working on cost volume pyramid can lead to a more compact, yet efficient network structure compared with the Point-MVSNet on 3D points. We further provide detailed analyses of the relation between (residual) depth sampling and image resolution, which serves as a principle for building compact cost volume pyramid. Experimental results on benchmark datasets show that our model can perform 6x faster and has similar performance as state-of-the-art methods. Code is available at https://github.com/JiayuYANG/CVP-MVSNet

研究の動機と目的

• 固定解像度のコストボリュームを用いる既存のマルチビューステレオネットワークが直面する高いメモリおよび計算コストを解消すること。
• 粗くから細かくまで繰り返し行うコストボリュームピラミッドを用いて、深度推定を反復的に精製することで、深度マップの精度と効率を向上させること。
• 画像解像度に基づいて深度サンプリング解像度を原理的かつ適切に選択する手法を確立すること。
• GPUメモリ使用量を低減し、推論時間を短縮することで、高解像度深度マップの推論を可能にすること。
• Point-MVSNetのようなポイントベースのMVSネットワークの軽量かつ効率的な代替手段を提供し、優れたまたは同等の性能を達成すること。

提案手法

• 入力ビューから画像ピラミッドを構築し、最も粗い解像度で全深度範囲にわたって一様サンプリングを用いて完全なコストボリュームを構築する。
• その後の各ピラミッドレベルでは、現在の深度推定値の周囲に部分的なコストボリュームを構築し、局所的で反復的な精製を可能にする。
• 深度残留探索範囲は、ソースビューにおけるピクセル間隔から導出され、深度サンプリング解像度と画像解像度の関係を理論的分析によって裏付けている。
• 正則化されたコストボリュームにマルチスケール3次元畳み込みニューラルネットワーク（3D CNN）を適用し、局所的な滑らかさを強制し、大きな受容 field を捉える。
• ピラミッドレベル間で特徴を共有し、再投影と特徴取得を用いてソースビューの特徴を基準ビューにアライメントする。
• 最終的な深度マップは、最も粗い解像度から始まり、ピラミッドレベルを段階的に細かくして反復的精製を経て得られる。

実験結果

リサーチクエスチョン

• RQ1 マルチビューステレオにおいて、高解像度深度精度を保持しつつ、コストボリュームの構築をより効率的かつコンパクトに行うにはどうすればよいか？
• RQ2 計算コストを最小限に抑えつつ精度を損なわせないために、最適な深度サンプリング解像度と画像解像度の関係は何か？
• RQ3 コストボリュームピラミッド上で反復的残留精製を施すことで、ポイントベースまたは固定解像度のコストボリューム手法を上回る速度と精度を達成できるか？
• RQ4 深度残留探索におけるピクセル間隔の選択が、再構築品質および計算効率にどのように影響するか？
• RQ5 コストボリュームピラミッドフレームワークは、最先端の手法と比較して、顕著に低いメモリ使用量と高速な推論を実現し、高解像度画像の処理に対応できるか？

主な発見

• CVP-MVSNetは、現在の最先端手法であるPoint-MVSNetと比較して6倍の高速化を達成しながら、ベンチマークデータセット上で競争力のある性能を維持している。
• DTUデータセットでは、平均fスコアがPoint-MVSNetを上回り、特にエッジ領域で滑らかで詳細な再構築を実現している。
• 2段階のピラミッド構成が最良の精度をもたらす。より深いピラミッドでは初期深度マップの解像度が低下し、性能が劣化する。
• 深度精製の最適なピクセル間隔は0.5〜1.0ピクセルの間である。間隔が小さすぎる（0.25）か大きすぎる（2.0）と性能が低下する。
• Tanks and Templesデータセットでは、Point-MVSNetより5%高い平均fスコアを達成し、P-MVSNetと比較してわずか1%低い性能にとどまるが、より単純な統合パイプラインを用いている。
• 定性的な結果では、CVP-MVSNetはPoint-MVSNet や R-MVSNet と比較して、屋根のエッジなど複雑な構造物においてより高周波数の詳細を捉えている。