[論文レビュー] Point-Based Multi-View Stereo Network

Rui Chen, Songfang Han+2 more|arXiv (Cornell University)|Aug 12, 2019

Advanced Vision and Imaging参考文献 31被引用数 6

ひとこと要約

Point-MVSNet は、3D コストボリュームの代わりに 3D ポイントクラウドを直接処理する、マルチビュー ステレオ再構築のための新しいポイントベースのディープラーニングフレームワークを提案する。幾何学的プライオリティとマルチビュー画像特徴を用いて、点群の深さ残差を予測する PointFlow モジュールを用いて、初期の粗い深度マップを繰り返し精錬することで、DTU および Tanks and Temples ベンチマークで最先端の精度と効率を達成し、再構築の完全性と品質の両面で向上を実現した。

ABSTRACT

We introduce Point-MVSNet, a novel point-based deep framework for multi-view stereo (MVS). Distinct from existing cost volume approaches, our method directly processes the target scene as point clouds. More specifically, our method predicts the depth in a coarse-to-fine manner. We first generate a coarse depth map, convert it into a point cloud and refine the point cloud iteratively by estimating the residual between the depth of the current iteration and that of the ground truth. Our network leverages 3D geometry priors and 2D texture information jointly and effectively by fusing them into a feature-augmented point cloud, and processes the point cloud to estimate the 3D flow for each point. This point-based architecture allows higher accuracy, more computational efficiency and more flexibility than cost-volume-based counterparts. Experimental results show that our approach achieves a significant improvement in reconstruction quality compared with state-of-the-art methods on the DTU and the Tanks and Temples dataset. Our source code and trained models are available at https://github.com/callmeray/PointMVSNet .

研究の動機と目的

• マルチビュー ステレオ再構築における 3D CNN を用いたコストボリューム手法の高いメモリ使用量と計算コストを低減すること。
• 固定解像度の 3D ボリュームの代わりにポイントクラウドを直接処理することで、再構築の精度と効率を向上させること。
• 関心領域に焦点を当てて、計算を柔軟かつ適応的にポイントクラウドの精錬を可能にすること。
• 3D の幾何的構造と 2D のテクスチャの手がかりを動的に統合して、頑健な深度予測を実現すること。
• リアルタイムまたはインタラクティブなアプリケーションにおける計算効率を高めるために、注視領域深度推論を可能にすること。

提案手法

• 本手法はまず、軽量な 3D コストボリュームを用いて粗い深度マップを生成し、それを初期ポイントクラウドに変換する。
• 現在のポイントクラウドからの 3D の幾何的プライオリティと、マルチビュー画像から動的に取得した 2D の画像特徴を融合することで、各ポイントの 3D フローを推定する、新規の PointFlow モジュールを導入する。
• PointFlow モジュールは、現在のポイントクラウドからの 3D の幾何的プライオリティと、マルチビュー画像から動的に取得した 2D の画像特徴を融合し、各ポイントの 3D フローを推定する。
• 特徴拡張付きのポイントクラウドは、エッジ畳み込みとマルチスケール特徴ピラミッドを用いて処理され、表現学習が向上する。
• ネットワークは粗いから細かい戦略を採用しており、関連する表面領域にのみ精錬が適用されるため、計算効率が向上する。
• アーキテクチャは、ポイントクラウドの関心領域のみを精錬することで、注視領域深度推論をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ポイントベースのディープラーニングフレームワークは、精度と効率の両面でコストボリュームベースの手法を上回ることができるか？
• RQ2 ポイントクラウド上で反復的残差精錬を適用することで、直接回帰と比較して、深度予測がどの程度向上するか？
• RQ3 3D の幾何的プライオリティとマルチビューのテクスチャの手がかりを、ポイントクラウドベースの MVS ネットワークでどの程度効果的に統合できるか？
• RQ4 提案手法は、インタラクティブまたはロボットビジョンシステムにおける計算負荷の削減を実現する注視領域深度推論をサポートできるか？
• RQ5 PointFlow モジュールは、複雑な屋外環境を含む多様なシーンにどの程度汎用的に適用できるか？

主な発見

• DTU データセットにおいて、Point-MVSNet は平均再構築誤差 0.391 mm を達成し、PU-Net（0.943 mm）を著しく上回り、優れた精度を示した。
• Tanks and Temples データセットでは、精錬後、f-score が 43.48 から 48.27 に上昇し、ランクが 13.12 から 7.25 に低下した。これは再構築品質の向上を示している。
• 初期深度マップに最大 6mm のガウスノイズが加わった場合、Point-MVSNet は MVSNet よりも再構築誤差を 70% 以上低減した。
• アブレーションスタディの結果、画像特徴ピラミッド、エッジ畳み込み、およびユークリッドグループ化の使用が不可欠であることが確認され、いずれかのコンponent を除去すると顕著な性能低下が生じた。
• PointFlow モジュールは、挑戦的な屋外シーンに対しても良好に一般化され、Tanks and Temples の中間ベンチマークでも一貫した改善を示した。
• 本フレームワークは、関心領域のみを精錬することで注視領域深度推論を実現し、計算負荷を低減しながらも高い精度を維持した。