[論文レビュー] MonoDTR: Monocular 3D Object Detection with Depth-Aware Transformer

Kuan‐Chih Huang, Tsung-Han Wu+2 more|arXiv (Cornell University)|Mar 21, 2022

Advanced Neural Network Applications被引用数 10

ひとこと要約

MonoDTRは、オフザシェル深度推定器に依存せずに、補助的监督を通じて深さに敏感な特徴を学習する深さに敏感なトランスフォーマー ネットワークを用いたエンドツーエンドのモノクローラル3次元物体検出フレームワークを提案する。軽量な深さに敏感な特徴強化（DFE）モジュールと、新規の深さ位置符号化（DPE）を備えた深さに敏感なトランスフォーマー（DTR）を導入し、KITTIで最先端の性能を達成するとともに、リアルタイム推論を実現した。

ABSTRACT

Monocular 3D object detection is an important yet challenging task in autonomous driving. Some existing methods leverage depth information from an off-the-shelf depth estimator to assist 3D detection, but suffer from the additional computational burden and achieve limited performance caused by inaccurate depth priors. To alleviate this, we propose MonoDTR, a novel end-to-end depth-aware transformer network for monocular 3D object detection. It mainly consists of two components: (1) the Depth-Aware Feature Enhancement (DFE) module that implicitly learns depth-aware features with auxiliary supervision without requiring extra computation, and (2) the Depth-Aware Transformer (DTR) module that globally integrates context- and depth-aware features. Moreover, different from conventional pixel-wise positional encodings, we introduce a novel depth positional encoding (DPE) to inject depth positional hints into transformers. Our proposed depth-aware modules can be easily plugged into existing image-only monocular 3D object detectors to improve the performance. Extensive experiments on the KITTI dataset demonstrate that our approach outperforms previous state-of-the-art monocular-based methods and achieves real-time detection. Code is available at https://github.com/kuanchihhuang/MonoDTR

研究の動機と目的

• 不正確な深さ事前知識と高い計算コストに苦しむ、従来の深さ支援モノクローラル3次元検出手法の限界を解消すること。
• 推論時に事前学習済み深度推定器を必要としない、軽量でエンドツーエンドのフレームワークを構築し、暗黙的に深さに敏感な特徴を学習すること。
• トランスフォーマーに基づくアーキテクチャを用いて、文脈に敏感で深さに敏感な特徴をグローバルに統合することで、3次元検出性能を向上させること。
• 3次元物体検出における深さに敏感な空間的関係をよりよく表現するため、新規の深さ位置符号化（DPE）を導入すること。
• 既存の画像専用モノクローラル3次元検出器に統合可能であり、性能向上を実現すること。

提案手法

• 訓練時に補助的深度監視を用いて深さに敏感な特徴を学習する深さに敏感な特徴強化（DFE）モジュールを提案し、外部の深度推定器に依存しない。
• トランスフォーマー エンコーダ-デコーダ 構造を用いて、文脈に敏感な特徴と深さに敏感な特徴をグローバルに注目・統合する深さに敏感なトランスフォーマー（DTR）モジュールを導入。
• トランスフォーマーに深さに敏感な位置の手がかりを組み込む新規の深さ位置符号化（DPE）を設計し、標準的なピクセル単位の位置符号化よりも3次元局所化性能を向上させる。
• トランスフォーマー デコーダの入力クエリとして深さに敏感な特徴を用いることで、3次元推論と物体局所化の正確性を向上させる。
• 深さ監視を訓練時のみに適用するマルチステージ訓練戦略を採用し、推論時に深度推定のオーバーヘッドが生じないリアルタイム推論を実現。
• 既存の画像専用モノクローラル3次元検出器に、提案されたDFEおよびDTRモジュールに置き換えることで、プラグアンドプレイ統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み深度推定器に依存せずに、深さに敏感な特徴を効果的に学習できるか。これにより、計算コストの低減と誤差伝搬の低減が図れるか。
• RQ2 従来の畳み込み統合と比較して、トランスフォーマーに基づく統合メカニズムは、文脈と深さに敏感な特徴を統合する3次元検出において、どのように性能を発揮するか。
• RQ3 3次元物体検出タスクにおいて、標準的な位置符号化（例：正弦波、絶対符号化）と比較して、深さに敏感な位置符号化（DPE）は優れているか。
• RQ4 提案された深さに敏感なモジュールが、既存の画像専用モノクローラル3次元検出器に統合された場合、性能向上はどの程度達成できるか。
• RQ5 提案されたフレームワークは、KITTIなどのベンチマークデータセットで最先端の正確性を維持しながら、リアルタイム推論を達成できるか。

主な発見

• MonoDTRはKITTI 3次元検出ベンチマークで最先端の性能を達成し、車両カテゴリのハードセットにおけるAP3D@IoU=0.7は24.52%を記録した。
• 提案されたDPEは、すべてのベースライン位置符号化を上回り、24.52% AP3D@IoU=0.7（ハード）を達成した。これは、CPEの24.34%およびAPEの23.85%を上回った。
• M3D-RPN、GAC、MonoDLEに統合した場合、ハードセットにおけるAP3D@IoU=0.7は最大+6.43%向上し、優れた汎用性と相互運用性を示した。
• モデルはリアルタイム推論速度を達成しており、実世界の自動運転アプリケーションにおいて実用的である。
• 定性的な結果から、MonoDTRの予測は、特に遠方または隠れ隠れの物体において、画像ビューおよびビューアンダーベースビューの両方で真値に著しく近いことが示された。
• 除去実験の結果、DFEおよびDTRモジュールが性能向上に大きく寄与しており、DPEはすべての設定で一貫した改善をもたらした。