[論文レビュー] SparseFormer: Attention-based Depth Completion Network

Frederik Warburg, Michaël Ramamonjisoa+1 more|arXiv (Cornell University)|Jun 9, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

SparseFormerは、3次元構造からモーション（SfM）ランドマークとRGB画像を用いて、極めてスパースな深度補完のためのトランスフォーマー基盤ネットワークを提案する。グローバルなアテンション機構を用いて非一様でスパースなランドマーク間で深度を補間し、クロスアテンションを用いたリファインメントモジュールで外れ値をフィルタリングすることで、インdoor（NYU Depth V2）および大規模なアウトドア（Mapillary Planet-Scale Depth）データセットにおいて、超低密度の点群でも最先端の性能を達成した。

ABSTRACT

Most pipelines for Augmented and Virtual Reality estimate the ego-motion of the camera by creating a map of sparse 3D landmarks. In this paper, we tackle the problem of depth completion, that is, densifying this sparse 3D map using RGB images as guidance. This remains a challenging problem due to the low density, non-uniform and outlier-prone 3D landmarks produced by SfM and SLAM pipelines. We introduce a transformer block, SparseFormer, that fuses 3D landmarks with deep visual features to produce dense depth. The SparseFormer has a global receptive field, making the module especially effective for depth completion with low-density and non-uniform landmarks. To address the issue of depth outliers among the 3D landmarks, we introduce a trainable refinement module that filters outliers through attention between the sparse landmarks.

研究の動機と目的

• SfMパイプラインで一般的に見られる、極めてスパースで非一様に分布し、外れ値を含みやすい3次元ランドマークを入力とする深度補完の課題に対処すること。
• 異なる密度および空間的分布を持つスパース3次元点群に一般化可能な手法を設計すること。
• 畳み込みネットワークが極めてスパースなデータを処理する際に抱える制限を、トランスフォーマーのグローバルな受容 field を活用することで克服すること。
• 視覚的特徴とスパース3次元ランドマークをアテンションベースの補間によって統合することで、深度補完の精度を向上させること。
• 補間の前にSfMランドマーク内の深度外れ値を検出し、抑制するためのトレーニング可能なリファインメントモジュールを開発すること。

提案手法

• 2次元に投影された3次元SfMランドマークとCNNデコーダーからの視覚的特徴の間でアテンションボリュームを計算するSparseFormerモジュールを導入し、類似性に基づくグローバルな深度補間を可能にする。
• スパース3次元ランドマークと画像特徴の間でマルチヘッドクロスアテンションを用いて、アテンション重みを計算し、画像全体にわたり深度伝搬をガイドする。
• 各SfMランドマークで深度値と視覚的特徴を連結し、クロスアテンションを適用してノイズや誤った点をフィルタリングするリファインメントモジュールを統合する。
• モノデプス2のデコーダーに4つのSparseFormerブロックを挿入し、マルチスケールの監督と重み付き損失を用いて特徴学習と深度精度を向上させる。
• Adam最適化アルゴリズムを用い、学習率の減少、バッチサイズ24、NYU Depth V2およびMapillary Planet-Scale Depthデータセットで600kイテレーションの訓練を行う。
• 自己アテンションのグローバルなコンテキストを活用することで、1フレームあたり300点（0.1%密度）しか存在しない場合でも、効果的に深度を拡散できる。

実験結果

リサーチクエスチョン

• RQ1 畳み込み手法と比較して、トランスフォーマー基盤のモジュールが、極めてスパースで非一様に分布したSfMランドマークにおいて優れた深度補完性能を達成できるか？
• RQ2 SparseFormerのグローバルアテンション機構は、極度のスパarsity（例：ピクセルの0.1%未満に深度が存在する）および非一様なランドマーク分布に対し、どのように対処するか？
• RQ3 クロスアテンションに基づくトレーニング可能なリファインメントモジュールは、SfMランドマーク内の深度外れ値の影響をどの程度軽減できるか？
• RQ4 アテンションベースの補間機構は、異なるシーンや異なるランドマーク密度・空間的分布を示す多様なデータセットに一般化できるか？
• RQ5 ENet や Monodepth2 といった最先端のベースラインと比較して、定量的指標および定性的な深度マップ品質の面で、本手法はどのように優れているか？

主な発見

• NYU Depth V2データセットでは、SparseFormerはRELが0.011、RMSEが4.948、δ1が0.989を達成し、ENet（REL: 0.019、RMSE: 5.469、δ1: 0.975）および低密度下でのMonodepth2を上回った。
• Mapillary Planet-Scale Depthデータセットでは、SparseFormerはMonodepth2およびENetを著しく上回り、0.1%のランドマーク密度下でも大規模で現実世界のアウトドアシーンにおいて堅牢性を示した。
• 1フレームあたり330個のSfMランドマーク（0.1%密度）しか存在しない場合でも、高い精度を維持しており、超スパース入力への強力な一般化能力を示した。
• MPSDにおける定性的な結果から、SparseFormerは、テクスチャが乏しい領域や隠蔽領域でも、整合性があり詳細な深度マップを生成しており、正解とよく一致した。
• アブレーションスタディの結果、リファインメントモジュールが外れ値をフィルタリングすることで性能が向上し、特にランドマークの品質が低い場合に顕著であった。
• グローバルアテンション機構により、最小限の入力ポイントでも、大規模な画像領域にわたり効果的な深度拡散が可能となった。これは、局所的な畳み込み演算とは対照的である。