[論文レビュー] Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single Object Tracking in Point Clouds

Chaoda Zheng, Yan Xu+5 more|arXiv (Cornell University)|Mar 3, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文では、外観マッチングを回避し、フレーム間のターゲット運動をモデル化することで、LiDAR点群におけるモーション中心の3次元単一オブジェクト追跡フレームワークであるM²-Trackを提案する。2段階のパイプラインを用い、まず運動予測によりターゲットを局所化し、次に運動支援型形状補完によりボクセルボックスを精緻化する。KITTI、NuScenes、Waymo Open Datasetにおいて、57 FPSで動作し、それぞれ8–22%の精度向上を達成し、最先端の性能を実現した。

ABSTRACT

3D single object tracking (3D SOT) in LiDAR point clouds plays a crucial role in autonomous driving. Current approaches all follow the Siamese paradigm based on appearance matching. However, LiDAR point clouds are usually textureless and incomplete, which hinders effective appearance matching. Besides, previous methods greatly overlook the critical motion clues among targets. In this work, beyond 3D Siamese tracking, we introduce a motion-centric paradigm to handle 3D SOT from a new perspective. Following this paradigm, we propose a matching-free two-stage tracker M^2-Track. At the 1^st-stage, M^2-Track localizes the target within successive frames via motion transformation. Then it refines the target box through motion-assisted shape completion at the 2^nd-stage. Extensive experiments confirm that M^2-Track significantly outperforms previous state-of-the-arts on three large-scale datasets while running at 57FPS (~8%, ~17%, and ~22%) precision gains on KITTI, NuScenes, and Waymo Open Dataset respectively). Further analysis verifies each component's effectiveness and shows the motion-centric paradigm's promising potential when combined with appearance matching.

研究の動機と目的

• テクスチャが欠落している、不完全で、干渉要因が多いLiDAR点群におけるシアンプスベースの3次元SOTの限界を解消すること。
• 高速な運動や低フレームレート下で失敗する外観マッチングに依存する問題を克服すること。
• 3次元シーンに内在する運動の手がかりを活用し、マッチングフリーな堅牢な追跡パラダイムを構築すること。
• 運動モデリングと形状補完を用いて局所化精度を向上させる2段階のトラッカーを設計すること。
• モーション中心の追跡が外観マッチングと組み合わせてさらなる性能向上を実現できることを示すこと。

提案手法

• 外観マッチングに代わる相対的運動推定を用いて、連続フレームにおけるターゲットの局所化を実現するモーション中心のパラダイムを提案する。
• 2段階のトラッカーを設計する：第1段階では、フレーム間の運動を予測し、運動変換によりターゲットを局所化する。
• 第2段階では、相対的運動を用いて部分的なターゲットビューを融合することで、運動支援型形状補完を実行し、3次元ボクセルボックスを精緻化する。
• 運動予測のための特徴表現を向上させるために、ボックスに注意を払う特徴強化モジュールを導入する。
• ターゲットの運動と背景の運動を区別するためのバイナリ運動分類ヘッドを統合する。
• リアルタイム推論（57 FPS）を維持しながら高い精度を達成するため、軽量なPointNetバックボーンを活用する。

実験結果

リサーチクエスチョン

• RQ1 3次元点群における運動モデリングは、3次元SOTにおける外観マッチングの代替として実用的か？
• RQ2 高速な運動、遮蔽、密集した交通状況などの困難な条件下でも、モーション中心のトラッカーはどのように性能を発揮するか？
• RQ3 運動ベースの追跡は、外観マッチング手法と効果的に組み合わせて性能をさらに向上させられるか？
• RQ4 運動モデリングと特定のアーキテクチャ的要素が、全体の追跡精度に与える寄与度はそれぞれどの程度か？
• RQ5 フレームサンプリングレートの変動に対して、モーション中心のパラダイムはどの程度頑健か？

主な発見

• M²-TrackはKITTI、NuScenes、Waymo Open Datasetにおいて、それぞれ8%、17%、22%の相対的な精度向上を達成し、最先端の性能を実現した。
• モデルは57 FPSで動作し、以前のトップパフォーマーであるBATよりも1.67倍速く、メモリ使用量も31.1%削減した。
• アブレーションスタディの結果、運動予測、形状補完、ボックスに注意を払う特徴強化の各モジュールが性能向上に顕著な寄与をしていることが確認された。
• モーション中心のパラダイムは、干渉要因や外観の変化に対して頑健であり、特に密集した交通状況下でも優れた性能を発揮した。
• BAT や P2B などの外観ベースのトラッカーとM²-Trackを統合することで、さらなる性能向上が達成され、相互に相乗効果を発揮することが示された。
• 運動オーグメンテーションは、低フレームレートデータで学習したモデルの一般化性能を向上させるが、外観ベースの手法では干渉要因との距離が近くなるため性能を低下させることがある。