[論文レビュー] 3D Former: Monocular Scene Reconstruction with 3D SDF Transformers

Weihao Yuan, Xiaodong Gu+3 more|arXiv (Cornell University)|Jan 31, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、1枚のRGB画像から撮影された姿勢情報を用いた3次元シーン再構成において、3次元CNNの代わりにスパースウィンドウマルチヘッドアテンション機構を導入することで、3次元特徴抽出の性能を向上させる、新しい3次元SDFトランスフォーマーネットワーク「3D Former」を提案する。幾何学的形状の保存を図るための拡張アテンション（dilate-attention）と、長距離の文脈情報を捉えるためのグローバルモジュールを導入することで、ScanNetデータセットにおいてメッシュの誤差を精度で41.8%、完全性で25.3%削減し、最先端の性能を達成した。

ABSTRACT

Monocular scene reconstruction from posed images is challenging due to the complexity of a large environment. Recent volumetric methods learn to directly predict the TSDF volume and have demonstrated promising results in this task. However, most methods focus on how to extract and fuse the 2D features to a 3D feature volume, but none of them improve the way how the 3D volume is aggregated. In this work, we propose an SDF transformer network, which replaces the role of 3D CNN for better 3D feature aggregation. To reduce the explosive computation complexity of the 3D multi-head attention, we propose a sparse window attention module, where the attention is only calculated between the non-empty voxels within a local window. Then a top-down-bottom-up 3D attention network is built for 3D feature aggregation, where a dilate-attention structure is proposed to prevent geometry degeneration, and two global modules are employed to equip with global receptive fields. The experiments on multiple datasets show that this 3D transformer network generates a more accurate and complete reconstruction, which outperforms previous methods by a large margin. Remarkably, the mesh accuracy is improved by 41.8%, and the mesh completeness is improved by 25.3% on the ScanNet dataset. Project page: https://weihaosky.github.io/sdfformer.

研究の動機と目的

• 大規模で複雑な環境における、姿勢が分かっているRGB画像から、正確かつ完全なモノクローラル3次元シーン再構成を実現すること。
• 3次元特徴抽出における3次元CNNの限界を克服し、より効果的なアテンションベースの機構に置き換えること。
• 大規模な3次元再構成タスクに適応可能な計算コストを低減した3次元マルチヘッドアテンションの実装を可能とすること。
• 新規なアーキテクチャ的要素を導入することで、3次元特徴学習における幾何学的形状の保存と長距離依存性のモデリングを向上させること。
• ScanNet や TUM-RGBD のようなベンチマークデータセットにおいて、メッシュの精度と完全性の両面で最先端の性能を達成すること。

提案手法

• 局所的な3次元ウィンドウ内に存在する空でないボクセル同士にのみアテンションを計算するスパースウィンドウマルチヘッドアテンションモジュールを提案し、計算コストを著しく削減する。
• トップダウン・ボトムアップな3次元トランスフォーマー・アーキテクチャにおいて、ダウンサンプリングおよびアップサンプリングの過程での幾何学的形状の劣化を防ぐために、拡張アテンション（dilate-attention）機構を導入する。
• バックプロジェクションされた2次元特徴の粗いから細かい特徴抽出を段階的に行う3レベルのトップダウン・ボトムアップ3次元トランスフォーマーネットワークを設計する。
• 長距離依存性の強化とシーン全体の理解を高めるために、ボトムレベルにグローバルアテンションモジュールとグローバルコンテキスト符号化モジュールを統合する。
• 3次元表現として切断された符号付き距離関数（TSDF）を用い、最終的な表面はMarching Cubesにより予測する。
• カメラポーズが既知のモノクローラルRGB画像のシーケンスからTSDFボリュームを回帰するように、ネットワーク全体をエンドツーエンドで学習する。

Figure 1: The overview of the 3D reconstruction framework. The input images are extracted to features by a 2D backbone network, then the 2D features are back-projected and fused to 3D feature volumes, which are aggregated by our 3D SDF transformer and generate the reconstruction in a coarse-to-fine

実験結果

リサーチクエスチョン

• RQ1 スパースウィンドウアテンションを備えた3次元トランスフォーマーは、モノクローラルシーン再構成において3次元CNNよりも優れた3次元特徴抽出を達成できるか？
• RQ2 大規模な3次元再構成タスクに適応可能な計算コストを抑えた3次元マルチヘッドアテンションの実装は可能か？
• RQ3 トップダウン・ボトムアップなトランスフォーマー・アーキテクチャにおいて、拡張アテンション（dilate-attention）を用いることで、幾何学的ディテールが保持され、形状の劣化が防げるか？
• RQ4 ボトムレベルに配置されたグローバルモジュールは、スパース3次元特徴ボリュームにおける長距離コンテキストモデリングを向上させることができるか？
• RQ5 3次元CNNを3次元トランスフォーマーに置き換えることで、3次元再構成におけるメッシュの精度と完全性はどの程度向上するか？

主な発見

• 提案された3D Formerは、ScanNetデータセットにおいてメッシュの精度誤差を相対的に41.8%削減し、0.055から0.032に低下した。
• メッシュの完全性は25.3%向上し、ScanNetデータセットにおいて0.083から0.062に低下した。
• アブレーションスタディの結果、グローバルモジュールおよびポスト拡張アテンションブロックの追加が、完全性とディテール回復の両面で顕著な向上をもたらした。
• スパースウィンドウアテンションにおけるウィンドウサイズ10が、性能と計算コストの最適なトレードオフを達成した。
• ICL-NUIMおよびTUM-RGBDデータセットにおいて、NeuralRecon や VoRTX といった先行研究を上回る性能を、複数の指標で示した。
• 定性的な結果から、再構成されたメッシュが一部のケースで真値を上回る密度・正確性・完全性を示し、微細なディテールの保存が良好であった。

Figure 2: (a) Illustration of the sparse window attention. For calculating the attention of the current voxel (in orange), we first sparsify the volume using the occupancy prediction from the coarser level, and then search the occupied voxels (in dark blue) within a small window. The attention is he