[論文レビュー] Non-local Recurrent Regularization Networks for Multi-view Stereo

Qingshan Xu, Martin R. Oswald+3 more|arXiv (Cornell University)|Oct 13, 2021

Advanced Vision and Imaging参考文献 35被引用数 5

ひとこと要約

本稿では、深度方向の長距離依存関係を深さ注意モジュールとゲート付き再帰ブロックを用いて捉える非局所的再帰的正則化ネットワークであるNR2-Netを提案する。この手法は、DTUおよびTanks and Templesベンチマークにおいて、3次元再構成の正確性と完全性を顕著に向上させる。本手法は、深度次元におけるグローバルなシーンコンテキストをモデル化しつつ、二次関数的メモリ複雑性を維持する点で、先行する再帰的および3次元フィルタリング手法を上回る性能を発揮する。

ABSTRACT

In deep multi-view stereo networks, cost regularization is crucial to achieve accurate depth estimation. Since 3D cost volume filtering is usually memory-consuming, recurrent 2D cost map regularization has recently become popular and has shown great potential in reconstructing 3D models of different scales. However, existing recurrent methods only model the local dependencies in the depth domain, which greatly limits the capability of capturing the global scene context along the depth dimension. To tackle this limitation, we propose a novel non-local recurrent regularization network for multi-view stereo, named NR2-Net. Specifically, we design a depth attention module to capture non-local depth interactions within a sliding depth block. Then, the global scene context between different blocks is modeled in a gated recurrent manner. This way, the long-range dependencies along the depth dimension are captured to facilitate the cost regularization. Moreover, we design a dynamic depth map fusion strategy to improve the algorithm robustness. Our method achieves state-of-the-art reconstruction results on both DTU and Tanks and Temples datasets.

研究の動機と目的

• 既存の再帰的コスト正則化手法が深度方向に長距離依存関係を捉える能力に制限を受ける問題に対処すること。
• 深度方向におけるグローバルなシーンコンテキストをモデル化することで、3次元再構成の正確性と完全性を向上させること。
• しばしば不完全な点群を生じさせる固定しきい値に依存する深度マップ統合を軽減すること。
• 大規模シーンにスケーリング可能な、メモリ効率的かつ強力な正則化フレームワークを設計すること。
• 深度確率と一貫性を統合的に考慮することで、ロバストで適応的な深度マップ統合を可能にすること。

提案手法

• 深度サンプリング空間を重複のないブロックに分割することで、局所的な非局所的相互作用を可能にする。
• 拡張サンプリングと自己注意メカニズムを用いて、非隣接深度面を横断する高レベル特徴を抽出する深さ注意モジュールを導入する。
• ゲート付き再帰ユニット（GRUs）を用いて、深度ブロック間で潜在特徴を伝搬・更新し、深度次元における長距離依存関係をモデル化する。
• GRUのセル状態は、前のブロックからのグローバルコンテキストに基づいて更新され、コストマップの長距離正則化を可能にする。
• 深度確率と一貫性に基づいてしきい値を動的に設定する動的深度マップ統合戦略を採用し、点群の完全性を向上させる。
• 深度監督と一貫性正則化を組み合わせたマルチタスク損失を用いて、エンドツーエンドでネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深度ブロック内での非局所的相互作用は、局所的再帰手法を上回るコストボリューム正則化を実現できるか？
• RQ2 深度ブロック間でのゲート付き再帰モデリングは、深度次元におけるグローバルなシーンコンテキストを効果的に捉えることができるか？
• RQ3 深度確率と一貫性に基づく動的統合は、より完全でロバストな3次元再構成をもたらすか？
• RQ4 大規模データセットにおいて、本手法は3次元フィルタリングおよび標準的再帰手法と比較して、正確性とメモリ効率の両面で優れているか？
• RQ5 本モデルは、低テクスチャ領域や反射領域を含む多様なシーンに一般化可能か？

主な発見

• NR2-NetはDTUデータセットで最先端の性能を達成し、先行手法と比較して正確性と完全性の両方を向上させた。
• Tanks and Templesデータセットでは、NR2-Netが大規模3次元再構成において優れた性能を示し、既存の再帰的および3次元フィルタリングベースラインを上回った。
• アブレーションスタディの結果、非局所的再帰的正則化および動的統合の両コンponentが再構成品質の向上に顕著に寄与することが確認された。
• 動的統合戦略により、深度一貫性に基づいてしきい値を適応的に調整することで、誤って除外される点（ファルスネガティブ）が減少し、点群の完全性が向上した。
• GRUセル状態の可視化から、モデルが曖昧な空間領域ですら背景と前景を適切に区別する能力を学習していることが示され、効果的なグローバルコンテキストモデリングが実現されていることが裏付けられた。
• NR2-Netは3次元フィルタリング手法と比較して、GPUメモリを著しく削減しており、解像度に伴うメモリ複雑性が立方体的ではなく二次関数的であることが特徴である。