[論文レビュー] AA-RMVSNet: Adaptive Aggregation Recurrent Multi-view Stereo Network

Zizhuang Wei, Qingtian Zhu+3 more|arXiv (Cornell University)|Aug 9, 2021

Advanced Vision and Imaging参考文献 33被引用数 13

ひとこと要約

AA-RMVSNetは、自己適応的アグリゲーションモジュールを備えた再帰的マルチビューステレオネットワークを提案する。インライン・ビュー用のモジュールは文脈に配慮した多スケール特徴抽出を、インタービュー用のモジュールはオクルージョンに対処するためのピクセル単位のビュー選択を実現する。この手法は最先端の性能を達成し、Tanks and Templesベンチマークで61.51の平均Fスコアを記録し、第1位にランクイン。DTUでも競争力ある結果を示し、3次元再構築における優れた正確性と完全性を示している。

ABSTRACT

In this paper, we present a novel recurrent multi-view stereo network based on long short-term memory (LSTM) with adaptive aggregation, namely AA-RMVSNet. We firstly introduce an intra-view aggregation module to adaptively extract image features by using context-aware convolution and multi-scale aggregation, which efficiently improves the performance on challenging regions, such as thin objects and large low-textured surfaces. To overcome the difficulty of varying occlusion in complex scenes, we propose an inter-view cost volume aggregation module for adaptive pixel-wise view aggregation, which is able to preserve better-matched pairs among all views. The two proposed adaptive aggregation modules are lightweight, effective and complementary regarding improving the accuracy and completeness of 3D reconstruction. Instead of conventional 3D CNNs, we utilize a hybrid network with recurrent structure for cost volume regularization, which allows high-resolution reconstruction and finer hypothetical plane sweep. The proposed network is trained end-to-end and achieves excellent performance on various datasets. It ranks $1^{st}$ among all submissions on Tanks and Temples benchmark and achieves competitive results on DTU dataset, which exhibits strong generalizability and robustness. Implementation of our method is available at https://github.com/QT-Zhu/AA-RMVSNet.

研究の動機と目的

• 深層学習を用いた細い構造物や低テクスチャ表面の3次元再構築における課題に対処すること。
• 複雑なシーンにおける変動するオクルージョンに耐性を持つように、自己適応的ビュー統合により耐性を高めること。
• ハイブリッドLSTMアーキテクチャを用いることで、高解像度再構築を維持しつつメモリ消費量を低減すること。
• 深度マップの正確性と完全性を向上させるために、特徴表現とコストボリューム正則化を強化すること。

提案手法

• 可変畳み込みと多スケール特徴統合を用いたインライン・ビュー用自己適応的アグリゲーションモジュールを導入し、文脈に配慮した特徴抽出を強化する。
• ピクセル単位の注目マップを生成することで、良好に一致するビュー対を優先するインタービュー用コストボリューム統合モジュールを提案する。
• コストボリューム正則化に再帰的LSTM構造を組み込んだハイブリッドネットワークを採用し、高解像度かつ細粒度な平面スイープを可能にする。
• 軽量モジュールを用いたエンド・トゥ・エンド学習により、性能向上を実現しながらもメモリ効率を維持する。
• 特徴抽出段階とビュー選択段階の両方で自己適応的アグリゲーションを適用し、多様なシーンタイプにわたる耐性を向上させる。

Figure 1: Illustration of multi-view 3D reconstruction of Scan 77 in DTU dataset [ 3 ] using the proposed AA-RMVSNet. (a) The reference image; (b) adaptive sampling locations in our intra-view AA approach; (c) the depth map estimated by AA-RMVSNet after filtering; (d) the recovered dense 3D model.

実験結果

リサーチクエスチョン

• RQ1 自己適応的インライン・ビュー特徴アグリゲーションは、細くテクスチャが乏しい構造物の深度推定を改善できるか？
• RQ2 注目マップを用いたピクセル単位のインタービュー・ビュー選択は、複雑なシーンにおけるオクルージョンの影響を低減できるか？
• RQ3 再帰的LSTMベースのコストボリューム正則化は、3D CNNに比べて正確性とメモリ効率の両面で優れているか？
• RQ4 組み合わせた際の提案された自己適応的モジュールの性能とメモリコストは、どのように比較できるか？

主な発見

• AA-RMVSNetはTanks and Templesベンチマークで61.51の平均Fスコアを達成し、すべての提出物の中で第1位となった。
• DTUデータセットでは、全体の平均深度誤差を0.357 mmまで低減し、ベースライン比で8.7%の改善を達成した。
• インライン・ビュー用自己適応的アグリゲーションは、完全性を0.28向上させたが、メモリ消費量はわずか1.74 GB増加にとどまった。一方、インタービュー用AAは正確性を0.31向上させ、0.11 GBのオーバーヘッドで実現した。
• フルモデルは4.25 GBのメモリ使用量で800×600解像度の高解像度深度マップを生成し、優れたメモリ効率を示した。
• 可視化結果から、R-MVSNetや他のベースラインと比較して、細い物体やオクルージョン領域の再構築において顕著な改善が確認された。

Figure 2: Overall architecture of AA-RMVSNet that consists of 4 stages. Intra-view AA module aims to aggregate context-aware features for multiple scales and regions with varying richness of texture. Inter-view AA module adaptively aggregates cost volumes of different views by yielding pixel-wise at