[論文レビュー] CenterFormer: Center-based Transformer for 3D Object Detection

Zixiang Zhou, Xiangchen Zhao+3 more|arXiv (Cornell University)|Sep 12, 2022

Advanced Neural Network Applications被引用数 10

ひとこと要約

CenterFormerは、LiDAR点群における3次元物体検出のためのセンターに基づくトランスフォーマー・ネットワークを提案する。センター特徴埋め込みをクエリとして使用することで、トレーニングの難易度と計算コストを低減する。Waymo検証セットでは73.7%のmAPH、テストセットでは75.6%のmAPHを達成し、従来のCNNおよびトランスフォーマー基盤の手法を上回る最先端の性能を発揮する。

ABSTRACT

Query-based transformer has shown great potential in constructing long-range attention in many image-domain tasks, but has rarely been considered in LiDAR-based 3D object detection due to the overwhelming size of the point cloud data. In this paper, we propose CenterFormer, a center-based transformer network for 3D object detection. CenterFormer first uses a center heatmap to select center candidates on top of a standard voxel-based point cloud encoder. It then uses the feature of the center candidate as the query embedding in the transformer. To further aggregate features from multiple frames, we design an approach to fuse features through cross-attention. Lastly, regression heads are added to predict the bounding box on the output center feature representation. Our design reduces the convergence difficulty and computational complexity of the transformer structure. The results show significant improvements over the strong baseline of anchor-free object detection networks. CenterFormer achieves state-of-the-art performance for a single model on the Waymo Open Dataset, with 73.7% mAPH on the validation set and 75.6% mAPH on the test set, significantly outperforming all previously published CNN and transformer-based methods. Our code is publicly available at https://github.com/TuSimple/centerformer

研究の動機と目的

• 大規模なLiDAR点群におけるトランスフォーマー基盤3次元物体検出のトレーニング不安定性と高い計算コストの課題に対処すること。
• オブジェクトレベルのアテンションを活用することで、アンカーフリー3次元検出における長距離および文脈的特徴学習を向上させること。
• クロスアテンション機構を用いて効果的なマルチフレーム特徴統合を実現し、検出のロバストネスを向上させること。
• 学習可能なクエリ埋め込みをセンター特徴埋め込みに置き換えることで、収束速度の向上と性能の向上を実現すること。

提案手法

• ボクセルベースのバックボーンネットワークが、LiDAR点群をビューアー・エイド（BEV）特徴マップにエンコードする。
• マルチスケールのセンター予測ネットワーク（CPN）が初期センター位置を予測し、クエリ入力としてのセンター特徴埋め込みを生成する。
• サンプリングされたキーポイント位置を用いて、複数スケールのBEV特徴から特徴を集約する、可変クロスアテンション層を備えたトランスフォーマー・デコーダー。
• クエリ埋め込みが予測されたセンターの特徴で初期化されることで、オブジェクト関連領域に集中したアテンションが可能になる。
• 時間的に隣接するフレームからの特徴とクエリ間のクロスアテンションにより、マルチフレーム特徴統合が実現される。
• トレーニングの安定性と一般化性能を向上させるために、コーナー監視、IoU補正、フェードオーグメンテーションの組み合わせを用いる。

実験結果

リサーチクエスチョン

• RQ1 センターに基づくクエリ初期化は、大規模なLiDAR点群におけるトランスフォーマー基盤3次元物体検出のトレーニング収束と性能向上に寄与するか？
• RQ2 学習可能なパrametricクエリと比較して、センター特徴埋め込みをクエリとして使用することは、検出精度とトレーニング安定性においてどのように異なるか？
• RQ3 可変クロスアテンションは、3次元検出における特徴集約の性能を維持または向上させつつ、計算コストをどの程度低減できるか？
• RQ4 クロスアテンションによるマルチフレーム特徴統合は、連続するLiDARスキャンにおける検出性能向上にどの程度効果的か？
• RQ5 補助監視とIoU補正などのトレーニング戦略は、モデルの収束と最終的なmAPHにどのような影響を与えるか？

主な発見

• CenterFormerは、Waymoオープンデータセットの検証セットで73.7%のmAPH、テストセットで75.6%のmAPHを達成し、単一モデル性能として新たな最先端を記録した。
• センター特徴をクエリ埋め込みとして使用することで、学習可能なクエリパラメータと比較してmAPHが1.5%向上し、収束性と特徴表現の優位性が実証された。
• 自己アテンションとクロスアテンション層の組み合わせにより、mAPHが67.0%に向上し、可変クロスアテンションを追加することでさらに67.3%に向上した。
• IoU補正とフェードオーグメンテーションを組み合わせることで、可変クロスアテンションと併用した場合、mAPHがそれぞれ1.4%および0.7%向上した。
• エンドツーエンドのセットマッチングではなく、プロポーザルベースの戦略でトレーニングしたモデルは68.7%のmAPHを達成し、エンドツーエンドのDETRスタイルのトレーニングを20ポイント以上上回った。
• 可視化結果から、アテンション機構が関連するオブジェクト領域および同クラスの隣接オブジェクトに集中していることが確認され、文脈的および長距離依存性の学習能力が裏付けられた。