[論文レビュー] MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection

Renrui Zhang, Han Qiu+8 more|arXiv (Cornell University)|Mar 24, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

MonoDETRは、モノクローラル3次元オブジェクト検出のための深さガイドドトランスフォーマーを提案し、前景深さマップ予測器と深さに敏感なデコーダーを備えたデュアルエンコーダー構造を導入することで、長距離のオブジェクト間深さ関係を推論可能にする。KITTIでは密集した深さ教師なしで最先端の性能を達成し、nuScenesではマルチビュー検出に対しても効果的に汎用化される。

ABSTRACT

Monocular 3D object detection has long been a challenging task in autonomous driving. Most existing methods follow conventional 2D detectors to first localize object centers, and then predict 3D attributes by neighboring features. However, only using local visual features is insufficient to understand the scene-level 3D spatial structures and ignores the long-range inter-object depth relations. In this paper, we introduce the first DETR framework for Monocular DEtection with a depth-guided TRansformer, named MonoDETR. We modify the vanilla transformer to be depth-aware and guide the whole detection process by contextual depth cues. Specifically, concurrent to the visual encoder that captures object appearances, we introduce to predict a foreground depth map, and specialize a depth encoder to extract non-local depth embeddings. Then, we formulate 3D object candidates as learnable queries and propose a depth-guided decoder to conduct object-scene depth interactions. In this way, each object query estimates its 3D attributes adaptively from the depth-guided regions on the image and is no longer constrained to local visual features. On KITTI benchmark with monocular images as input, MonoDETR achieves state-of-the-art performance and requires no extra dense depth annotations. Besides, our depth-guided modules can also be plug-and-play to enhance multi-view 3D object detectors on nuScenes dataset, demonstrating our superior generalization capacity. Code is available at https://github.com/ZrrSkywalker/MonoDETR.

研究の動機と目的

• 局所的な視覚特徴にのみ依存し、長距離の深さ関係を無視するセンター・ガイドドモノクローラル3次元検出器の限界を解消すること。
• トランスフォーマーに基づくフレームワークを用いて、シーンレベルの深さ幾何学的構造とオブジェクト間の深さ関係を統合することで、3次元オブジェクト検出を向上させること。
• 密集した深さアノテーションを必要とせず、モノクローラルおよびマルチビュー3次元検出を向上させるプラグアンドプレイ方式の深さガイドドモジュールを開発すること。
• 非最大抑制（NMS）やアンカーに基づくラベル割り当てを一切不要とし、オブジェクト単位のラベルのみで教師するエンドツーエンドの学習を可能にすること。

提案手法

• オブジェクトごとの離散的深さラベルのみを用いて、密集した深さ教師なしで前景深さマップを生成する軽量な深さ予測器を導入する。
• 並列なデュアルエンコーダーを採用：視覚エンコーダーは外観特徴を処理し、深さエンコーダーは予測された深さマップから非局所的な深さ埋め込みを抽出する。
• 深さに敏感なデコーダーを設計し、深さクロスアテンション層を用いてオブジェクトクエリが画像全体の深さに敏感な領域に注目できるようにし、グローバルなコンテキスト集約を可能にする。
• 3次元オブジェクト検出を、視覚的および深さ埋め込み表現からの特徴を適応的に集約する学習可能なクエリの集合として定式化する。
• メートル単位またはkビン離散化を用いた学習可能な深さ位置エンコーディングを導入し、トランスフォーマーのアテンション機構内で深さ幾何学的構造を保持する。
• 非最大抑制（NMS）、アンカー、補助的深さデータを一切不要とせず、2次元および3次元オブジェクトアノテーションのみでエンドツーエンドの学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 局所的な視覚特徴を超えて長距離の深さ関係を捉えることで、深さガイドドトランスフォーマーのアーキテクチャがモノクローラル3次元オブジェクト検出を向上させ得るか？
• RQ2 オブジェクト単位の深さ教師のみで予測された前景深さマップが、密集した深さアノテーションなしで3次元検出を効果的にガイドできるか？
• RQ3 深さガイドドモジュールが、プラグアンドプレイ方式でマルチビュー3次元検出をどれほど効果的に向上させられるか？
• RQ4 深さに敏感なアテンションの統合により、BEVFormer や PETRv2 などのBEVベース検出器における特徴表現学習が改善されるか？
• RQ5 異なる深さ表現および位置エンコーディング設計が、最終的な検出性能にどのように影響を与えるか？

主な発見

• MonoDETRはKITTIテストセットで最先端の性能を達成し、第2位の手法と比較して、エイジリス、モダレート、ハードの難易度レベルでそれぞれ+2.53%、+1.08%、+0.85%の向上を達成した。
• 深さクロスアテンションを備えた深さガイドドデコーダーにより、オブジェクトクエリが画像全体にわたって遠く離れた深さ関連領域に注目できることが、アテンションマップの可視化で確認された。
• nuScenesベンチマークでは、深さガイドドモジュールがPETRv2を+1.2% NDS、BEVFormerを+0.9% NDS向上させ、マルチビュー検出への汎用性の高さが示された。
• アブレーションスタディの結果、可変自己アテンションを備えた深さエンコーダーを用いることで、直接特徴を入力する手法よりも優れた性能が得られ、深さ特徴が適切にエンコードされている場合に最良の性能が得られた。
• kビン離散化による均一な前景深さマップが最も優れた性能を示し、メートル単位の埋め込みを用いた深さ位置エンコーディングが、正弦波または2次元正弦波エンコーディングよりも効果的であった。
• 均一、増加、線形増加の各深さ表現スキームにおいて一貫した向上が得られ、特に前景深さマップが最も効果的であった。