[論文レビュー] TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers

Xuyang Bai, Zeyu Hu+5 more|arXiv (Cornell University)|Mar 22, 2022

Advanced Neural Network Applications被引用数 28

ひとこと要約

TransFusion はソフトアテンションと画像誘導クエリ初期化を用いた Transformer ベースの LiDAR-カメラ融合アプローチを導入し、画質低下とキャリブレーションのずれの下でも堅牢に 3D オブジェクトを検出します。nuScenes で最先端の結果を達成し、3D トラッキングへ拡張します。

ABSTRACT

LiDAR and camera are two important sensors for 3D object detection in autonomous driving. Despite the increasing popularity of sensor fusion in this field, the robustness against inferior image conditions, e.g., bad illumination and sensor misalignment, is under-explored. Existing fusion methods are easily affected by such conditions, mainly due to a hard association of LiDAR points and image pixels, established by calibration matrices. We propose TransFusion, a robust solution to LiDAR-camera fusion with a soft-association mechanism to handle inferior image conditions. Specifically, our TransFusion consists of convolutional backbones and a detection head based on a transformer decoder. The first layer of the decoder predicts initial bounding boxes from a LiDAR point cloud using a sparse set of object queries, and its second decoder layer adaptively fuses the object queries with useful image features, leveraging both spatial and contextual relationships. The attention mechanism of the transformer enables our model to adaptively determine where and what information should be taken from the image, leading to a robust and effective fusion strategy. We additionally design an image-guided query initialization strategy to deal with objects that are difficult to detect in point clouds. TransFusion achieves state-of-the-art performance on large-scale datasets. We provide extensive experiments to demonstrate its robustness against degenerated image quality and calibration errors. We also extend the proposed method to the 3D tracking task and achieve the 1st place in the leaderboard of nuScenes tracking, showing its effectiveness and generalization capability.

研究の動機と目的

• degraded image 条件とセンサのミスアライメントにおける LiDAR-カメラ融合の堅牢性課題を調査する。
• LiDAR クエリと画像特徴間のソフトアソシエーションを実現する transformer ベースの融合検出器を提案する。
• 初期の境界ボックス予測を改善する入力依存・カテゴリ認識のオブジェクトクエリを開発する。
• 画像誘導クエリ初期化とローカリティバイアス付きクロスアテンション機構を導入し融合を強化する。
• nuScenes で最先端の 3D 検出を実証し Waymo で競争力のある結果、追跡能力も示す。

提案手法

• 検出ヘッドとして二層の Transformer デコーダを用い、第一層で LiDAR 特徴からスパースなオブジェクトクエリを用いて初期の 3D ボックスを予測する。
• オブジェクトクエリと画像特徴のメモリバンク間で SMCA を介して空間的ローカリティに導かれたソフトアソシエーション融合を行う。
• LiDAR BEV と崩れた画像特徴を融合してクエリを初期化する画像誘導クエリ初期化を導入する。
• オブジェクトクエリを入力依存かつカテゴリ認識にすることでカテゴリ埋め込みを用いて文脈推論を促す。
• 最初は LiDAR のみで初期ボックスを予測する二段構えで訓練し、次に LiDAR-カメラ融合とクエリ初期化で精度を refine する。
• 分類・回帰・IoU の項を組み合わせた Hungarian 径路二部マッチングベースの損失で最適化する。

実験結果

リサーチクエスチョン

• RQ1 画質の低下やセンサのミスキャリブレーションに対して LiDAR-カメラ融合をどのように堅牢化できるか。
• RQ2 ソフトアソシエーションを伴う transformer ベースの融合ヘッドは、3D 物体検出におけるハードアソシエーション融合手法より優れているか。
• RQ3 入力依存・カテゴリ認識のオブジェクトクエリと画像誘導初期化は初期提案品質にどのような改善をもたらすか。
• RQ4 ローカリティバイアス付きクロスアテンション（SMCA）は融合の有効性と堅牢性にどのように影響するか。
• RQ5 アプローチは単一フレーム検出を超えた 3D トラッキングタスクへ一般化できるか。

主な発見

• TransFusion は nuScenes で従来法と比較して最先端の 3D 検出性能を達成する。
• 二段階の Transformer デコーダにより LiDAR ベースの初期予測と適応的な画像特徴融合を実現し精度を向上させる。
• SMCA を用いたクロスアテンションによるソフトアソシエーション融合は、画質低下やキャリブレーション誤差に対する堅牢性を向上させる。
• 画像誘導クエリ初期化は、スパースな LiDAR データで見つけにくい物体の検出を助ける。
• 本手法は 3D トラッキングにも拡張され、nuScenes トラッキングリーダーボードでトップ結果を達成する。