[論文レビュー] Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency Checking

Jianfeng Yan, Zizhuang Wei+6 more|arXiv (Cornell University)|Jul 21, 2020

Advanced Vision and Imaging参考文献 31被引用数 10

ひとこと要約

本稿では、正確でメモリ効率の良い高密度3D再構成を実現するため、動的整合性チェックを備えた軽量な密度的ハイブリッド再帰的マルチビューステレオネットワークD² HC-RMVSNetを提案する。DRENet特徴抽出器とHU-LSTMを導入し、マルチスケール特徴の集約を実現する一方、動的整合性チェックにより深度マップ統合のロバスト性を向上させ、Tanks and Templesで最先端の性能を達成するとともに、R-MVSNet比で19.4%のメモリ削減を実現した。

ABSTRACT

In this paper, we propose an efficient and effective dense hybrid recurrent multi-view stereo net with dynamic consistency checking, namely $D^{2}$HC-RMVSNet, for accurate dense point cloud reconstruction. Our novel hybrid recurrent multi-view stereo net consists of two core modules: 1) a light DRENet (Dense Reception Expanded) module to extract dense feature maps of original size with multi-scale context information, 2) a HU-LSTM (Hybrid U-LSTM) to regularize 3D matching volume into predicted depth map, which efficiently aggregates different scale information by coupling LSTM and U-Net architecture. To further improve the accuracy and completeness of reconstructed point clouds, we leverage a dynamic consistency checking strategy instead of prefixed parameters and strategies widely adopted in existing methods for dense point cloud reconstruction. In doing so, we dynamically aggregate geometric consistency matching error among all the views. Our method ranks extbf{$1^{st}$} on the complex outdoor extsl{Tanks and Temples} benchmark over all the methods. Extensive experiments on the in-door DTU dataset show our method exhibits competitive performance to the state-of-the-art method while dramatically reduces memory consumption, which costs only $19.4\%$ of R-MVSNet memory consumption. The codebase is available at \hyperlink{https://github.com/yhw-yhw/D2HC-RMVSNet}{https://github.com/yhw-yhw/D2HC-RMVSNet}.

研究の動機と目的

• ダウンサンプリングと固定融合戦略によるメモリ非効率性と精度損失を解消すること。
• 再構成品質を損なわずに高解像度・フルサイズの深度マップ予測を可能にすること。
• ヒューリスティックで固定パラメータの整合性チェックを、動的かつビュー適応的な方法に置き換えることで、深度マップ統合のロバスト性を向上させること。
• 再構成精度および完全性を維持または向上させながら、メモリ消費量を削減すること。
• 高解像度画像からのスケーラブルで実用的な高密度3D再構成を可能にすること、大規模なシーンを含む。

提案手法

• 元画像解像度で高密度でマルチスケールの特徴マップを抽出できる軽量なDRENet（Dense Reception Expanded）モジュールを提案する。
• U-Netのスキップ接続とLSTMゲーティングを組み合わせたHU-LSTM（Hybrid U-LSTM）モジュールを導入し、3Dコストボリュームを効率的に深度マップに正則化する。
• 差分ホモジアグラフィワーピングを用いてマルチビュー画像から3Dコストボリュームを構築し、エンド・ツー・エンドの学習を可能にする。
• すべてのビューにわたる幾何的マッチング誤差を動的に統合することで、信頼性の低い深度値をフィルタリングする動的整合性チェックアルゴリズムを設計する。
• 固定しきい値やヒューリスティクスに依存しない、動的誤差統合に基づく学習なしの後処理統合戦略を採用する。
• 重い3D-CNNを回避し、高解像度特徴学習のための軽量なアプローチにより、メモリフットプリントを低減することで推論効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 軽量で高解像度の特徴抽出器は、メモリコストを増加させることなく、高密度MVS再構成を改善できるか？
• RQ2 3D-CNNやGRUと比較して、メモリ消費量を削減しつつ、ハイブリッドLSTM-U-Netアーキテクチャが3Dコストボリュームを効果的に正則化できるか？
• RQ3 シーンの複雑さに適応する動的整合性チェックは、固定パラメータの融合戦略を上回る深度マップの品質と完全性を実現できるか？
• RQ4 提案手法は、Tanks and Templesのような複雑な屋外ベンチマークで最先端の性能を達成し、低メモリ使用量を維持できるか？
• RQ5 この手法は、高解像度画像および大規模3D再構成タスクにどの程度スケーラブルに拡張可能か？

主な発見

• 提案されたD² HC-RMVSNetは、挑戦的なTanks and Templesベンチマークで1位を達成し、すべての先行手法を上回った。
• DTUデータセットでは、R-MVSNet比で19.4%のメモリ消費量にまで削減しながら、最先端の手法と同等の性能を達成した。
• DRENetモジュールは、標準的な2D CNNバックボーンと比較して、より低いメモリと推論時間でフル解像度での正確な特徴抽出を可能にした。
• HU-LSTMモジュールは、順序処理によるマルチスケールコンテキストの効果的集約により、3D-CNNやGRUベースの代替手法と比較して深度マップ品質を顕著に向上させた。
• 動的整合性チェックにより、Tanks and Templesでのfスコアは57.55から59.20に向上し、多様なシーンにわたる強力な一般化性とロバスト性を示した。
• 本手法は、たとえば1600×1200のフル解像度深度マップ予測を6.6GBのメモリで実現し、高解像度入力への実用的デプロイを可能にした。