[論文レビュー] LEGO: Learning and Graph-Optimized Modular Tracker for Online Multi-Object Tracking with Point Clouds

Zhenrong Zhang, Jianan Liu+4 more|arXiv (Cornell University)|Aug 19, 2023

Video Surveillance and Tracking MethodsComputer Science被引用数 3

ひとこと要約

LEGOは、グラフ最適化と自己注意メカニズムを統合することでデータアソシエーションの正確性を向上させる、LiDAR点群向けの新しいオンラインマルチオブジェクトトラッキングフレームワークである。幾何、運動、検出スコア特徴量を学習可能なコスト行列とグラフ駆動型アテンションネットワーク（GDAN）で統合することで、LEGOは、LiDAR入力のみを用いても、オンライントラッカーとしてKITTI MOTベンチマークでSOTAを達成した。

ABSTRACT

Online multi-object tracking (MOT) plays a pivotal role in autonomous systems. The state-of-the-art approaches usually employ a tracking-by-detection method, and data association plays a critical role. This paper proposes a learning and graph-optimized (LEGO) modular tracker to improve data association performance in the existing literature. The proposed LEGO tracker integrates graph optimization and self-attention mechanisms, which efficiently formulate the association score map, facilitating the accurate and efficient matching of objects across time frames. To further enhance the state update process, the Kalman filter is added to ensure consistent tracking by incorporating temporal coherence in the object states. Our proposed method utilizing LiDAR alone has shown exceptional performance compared to other online tracking approaches, including LiDAR-based and LiDAR-camera fusion-based methods. LEGO ranked 1st at the time of submitting results to KITTI object tracking evaluation ranking board and remains 2nd at the time of submitting this paper, among all online trackers in the KITTI MOT benchmark for cars1

研究の動機と目的

• オンラインLiDAR点群を用いたマルチオブジェクトトラッキングにおけるデータアソシエーション、誤検出の除外、トラッキングの継続性の課題に対処すること。
• 幾何、運動、検出スコア特徴量を統合的に最適化するフレームワークを通じて、トラッキングのロバスト性と正確性を向上させること。
• グラフベースのアテンションとカルマンフィルタを用いて時間的整合性を確保する、モジュラーなトラッカーを構築すること。
• カメラ融合を一切行わないLiDAR入力のみで、KITTIオンラインMOTベンチマークにおいてSOTA性能を達成すること。

提案手法

• LEGOは2段階のパイプラインを採用：オブジェクト検出の後、グラフ最適化されたデータアソシエーションを有するモジュラートラッカーによるトラッキング。
• 幾何と運動特徴量（行列A）と検出スコア特徴量（行列B）を組み合わせたコスト行列を構築し、その寄与度を調整するための学習可能な重みを導入。
• 検出結果のフレーム間におけるトポロジー的関係をモデル化することで、関連付けスコアを計算するためのグラフ駆動型アテンションネットワーク（GDAN）を採用。
• 時間的整合性を維持し、フレーム間でのオブジェクト状態推定を精緻化するためにカルマンフィルタを統合。
• 検出バウンディングボックスの局所化誤差を低減するために、オフセット補正モジュールを適用。
• トラック管理には、トラックの寿命と誤検出の低減を目的としたしきい値ベースのプリーニング機構（N^t）を用いる。

実験結果

リサーチクエスチョン

• RQ1 グラフ最適化とアテンションメカニズムを効果的に統合することで、オンライン3次元マルチオブジェクトトラッキングにおけるデータアソシエーションをどのように改善できるか？
• RQ2 コスト行列における幾何、運動、検出スコア特徴量の最適なバランスは何か？
• RQ3 カメラ融合を伴わないLiDARオンリーパラダイムのトラッカーが、マルチモodal（LiDAR-カメラ）トラッカーと比較してSOTA性能を達成できるか？
• RQ4 カルマンフィルタとトラック管理の統合が、トラッキングの継続性とロバスト性をどのように向上させるか？

主な発見

• LEGOはKITTIカー検証セットで85.808%のHOTAを達成し、提出時時点ですべてのオンライントラッカーの中で1位となった。
• PointRCNNを検出器として使用した場合、StrongFusionMOTと比較してHOTAが2.4ポイント、MOTAが3.44ポイント向上した。
• PointGNNを検出器として使用した場合、HIDMOTと比較してHOTAが3.62ポイント向上し、DualTrackerと比較して5.34ポイント向上した。
• CenterPointより精度が低い検出器（PointGNN）を用いても、GNN3DMOTよりsAMOTAで1.22ポイント、AMOTAで2.51ポイント、AMOTPで8.87ポイント優れていた。
• アブレーションスタディの結果、重みw_Bを2、トラックしきい値N^tを14に設定した場合がHOTA性能で最良（85.808%）であった。
• オフセット補正モジュールは局所化精度の向上に寄与し、全体のトラッキングのロバスト性を強化した。