[論文レビュー] Center-based 3D Object Detection and Tracking

Tianwei Yin, Xingyi Zhou+1 more|arXiv (Cornell University)|Jun 19, 2020

Advanced Neural Network Applications参考文献 64被引用数 67

ひとこと要約

CenterPointは、3Dオブジェクトを中心点として表現・検出・追跡することで、LiDARデータ上でシンプルかつ高速で最先端の3D検出と追跡を実現します。2段階のリファインメントが性能をさらに向上させます。

ABSTRACT

Three-dimensional objects are commonly represented as 3D boxes in a point-cloud. This representation mimics the well-studied image-based 2D bounding-box detection but comes with additional challenges. Objects in a 3D world do not follow any particular orientation, and box-based detectors have difficulties enumerating all orientations or fitting an axis-aligned bounding box to rotated objects. In this paper, we instead propose to represent, detect, and track 3D objects as points. Our framework, CenterPoint, first detects centers of objects using a keypoint detector and regresses to other attributes, including 3D size, 3D orientation, and velocity. In a second stage, it refines these estimates using additional point features on the object. In CenterPoint, 3D object tracking simplifies to greedy closest-point matching. The resulting detection and tracking algorithm is simple, efficient, and effective. CenterPoint achieved state-of-the-art performance on the nuScenes benchmark for both 3D detection and tracking, with 65.5 NDS and 63.8 AMOTA for a single model. On the Waymo Open Dataset, CenterPoint outperforms all previous single model method by a large margin and ranks first among all Lidar-only submissions. The code and pretrained models are available at https://github.com/tianweiy/CenterPoint.

研究の動機と目的

• 3D検出における向き推定とボックス適合の課題を克服するため、中心点ベースの表現を動機づける。
• 中心点を検出し、完全な3D姿勢・サイズ・速度へ回帰する2段階のCenterPoint検出器を提案する。
• 物体の表面の点特徴を用いた軽量な第2段階のリファインメントを導入する。
• シンプルな貪欲最も近い点のアソシエーションによるEnd-to-Endの3D検出と追跡を実証する。
• Waymo Open DatasetとnuScenesで効率的な推論を伴う最先端の結果を示す。

提案手法

• LiDARデータからマップビュー特徴マップMを生成する標準的な3Dバックボーン（VoxelNetまたはPointPillars）を使用する。
• 各中心でクラス固有の中心ヒートマップ、物体サイズ、サブボクセル定位、ヨー角、速度を密集ヘッドを介して予測する。
• CenterNetに触発されたキーポイント損失とすべてのオブジェクト属性の回帰ヘッドで訓練する。
• 第1段階の予測を、Mから中心-表面点特徴をサンプリングし、MLPで処理して信頼度スコアとボックスの refinement を出力する第2段階で refined。
• 予測された2D速度を用いて中心を投影し、最も近い点のアソシエーションで現在検出を前フレームに貪欲にマッチングして追跡する。

実験結果

リサーチクエスチョン

• RQ1 LiDARデータにおけるアンカー基準のボックスと比較して、中心点ベースの表現は3D物体検出と追跡を単純化できるか？
• RQ2 2段階の中心点リファインメントは、最小限のオーバーヘッドで3D位置推定・向き推定・速度推定を改善するか？
• RQ3 重いモーションモデルを用いずに、中心点ベースの検出はリアルタイムな3D追跡をどれだけサポートできるか？
• RQ4 WaymoおよびnuScenesのような大規模データセットにおける中心点検出の性能影響はどの程度か？
• RQ5 回転や物体サイズの変化に対する頑健性の観点で、CenterPointはアンカー基準手法とどのように比較されるか？

主な発見

• 中心点ベースのCenterPointは、軸に平行なボックスを中心点に置換することで3D検出を改善し、バックボーンとデータセット全体で顕著なmAP/mAPHの向上をもたらす。
• 中心-顔特徴を追加した2段階CenterPointは、わずかなオーバーヘッドでさらなる性能向上を提供する（2段階リファインメントは一部の設定で約6–7 msを追加）。
• CenterPointはWaymo（車両のmAPHおよび歩行者のmAPH、Level 2）とnuScenesで最先端の結果を達成し、従来手法を上回る。
• 速度を考慮した貪欲な最も近い点マッチングによるCenterPoint追跡は、Kalmanフィルタに基づくベースラインに対してAMOTAを大幅に改善し、nuScenesで最大8.8のAMOTA改善、Waymoでも大幅な改善をもたらす。
• CenterPointはほぼリアルタイムで動作し（例：Waymoで11 FPS、nuScenesで16 FPS）、小さく高度に回転した物体にも強い性能を維持する。