[論文レビュー] 3D Multi-Object Tracking: A Baseline and New Evaluation Metrics

Xinshuo Weng, Jianren Wang+2 more|arXiv (Cornell University)|Jul 9, 2019

Video Surveillance and Tracking Methods参考文献 58被引用数 38

ひとこと要約

3D KalmanフィルタとHungarianデータ連携を用いたシンプルなリアルタイム3D MOTシステムを提案し、3D MOT評価ツールと3つの積分指標（AMOTA、AMOTP、sAMOTA）を含む、KITTIとnuScenesで高いFPSを実現する最先端の結果を報告する。

ABSTRACT

3D multi-object tracking (MOT) is an essential component for many applications such as autonomous driving and assistive robotics. Recent work on 3D MOT focuses on developing accurate systems giving less attention to practical considerations such as computational cost and system complexity. In contrast, this work proposes a simple real-time 3D MOT system. Our system first obtains 3D detections from a LiDAR point cloud. Then, a straightforward combination of a 3D Kalman filter and the Hungarian algorithm is used for state estimation and data association. Additionally, 3D MOT datasets such as KITTI evaluate MOT methods in the 2D space and standardized 3D MOT evaluation tools are missing for a fair comparison of 3D MOT methods. Therefore, we propose a new 3D MOT evaluation tool along with three new metrics to comprehensively evaluate 3D MOT methods. We show that, although our system employs a combination of classical MOT modules, we achieve state-of-the-art 3D MOT performance on two 3D MOT benchmarks (KITTI and nuScenes). Surprisingly, although our system does not use any 2D data as inputs, we achieve competitive performance on the KITTI 2D MOT leaderboard. Our proposed system runs at a rate of $207.4$ FPS on the KITTI dataset, achieving the fastest speed among all modern MOT systems. To encourage standardized 3D MOT evaluation, our system and evaluation code are made publicly available at https://github.com/xinshuoweng/AB3DMOT.

研究の動機と目的

• クラシカルなMOTモジュール（3D KalmanフィルタとHungarianマッチング）に基づくシンプルでリアルタイムな3D MOTのベースラインを提供する。
• 複数の動作点で評価する標準化された3D MOT評価ツールと3つの積分指標を導入する。
• 提案するベースラインがKITTIおよびnuScenesの3D MOTベンチマークで最先端の結果を達成することを示す。
• appearance特徴や学習に過度に依存せず、高速で動作できることを実証する。

提案手法

• LiDAR点群から既存の検出器を用いて3D検出を抽出する。
• カルマンフィルタの状態を3Dに拡張する： (x, y, z, θ, l, w, h, s, vx, vy, vz)。
• 3Dの一定速度モデルで軌道を予測する。
• 検出と予測を3D IoUまたは中心距離アフィニティを用いてHungarianアルゴリズムで対応付ける。
• 適合した状態をベイズベースの更新で更新し、必要に応じて向き補正を含める。
• 新規トラックの作成を遅延させるbirth/deathメモリを用いて生存/消滅を管理し、トラックの年齢を上限で制限する。

実験結果

リサーチクエスチョン

• RQ1 3D KalmanフィルタとHungarianマッチングに基づくシンプルな3D MOTパイプラインは、標準的な3Dベンチマークで強力なMOT性能を達成できるか。
• RQ2 3D空間で直接動作するシステムを公平に比較するためには、3D MOTをどのように評価すべきか。
• RQ3 複数の信頼度閾値にわたる積分指標（AMOTA、AMOTP、sAMOTA）は、単一閾値指標よりも3D MOT手法を比較するより堅牢な根拠を提供するか。
• RQ4 3DベースのMOTアプローチは、精度と速度の点で2D中心のアプローチより利点を有するか。

主な発見

手法	入力データ	マッチング基準	sAMOTA	AMOTA	AMOTP	MOTA	MOTP	IDS	FRAG	FPS
mmMOT	2D + 3D	IoU_thres = 0.25	70.61	33.08	72.45	74.07	78.16	10	55	4.8 (GPU)
FANTrack	2D + 3D	IoU_thres = 0.25	82.97	40.03	75.01	74.30	75.24	35	202	25.0 (GPU)
Ours	3D	IoU_thres = 0.25	93.28	45.43	77.41	86.24	78.43	0	15	207.4 (CPU)

• 提案された3D MOTベースラインは、KITTIおよびnuScenesの3D MOTベンチマークで最先端の性能を達成する。
• システムはKITTIで207.4 FPSの速度を達成し、現代のMOTシステムの中で最速。
• 新しい3つの指標（AMOTA、AMOTP、AMOTA）と2つのスケール変種（sAMOTA、AMOTA）を提案し、すべての閾値にわたる性能を要約。
• 新しい3D MOT評価ツールは、3D IoUまたは中心距離基準を用いて3D空間で直接評価し、評価のために画像平面への射影を回避する。
• 2D入力がなくても、3Dベースの手法はKITTIの2D MOTリーダーボードで競争力のある結果を達成しており、3D追跡の深度解像度の改善による可能性が高い。
• アブレーション研究は、角速度の組み込みや向き処理などの構成要素が性能にとって重要であることを示している。