[論文レビュー] 1st Place Solutions for Waymo Open Dataset Challenges -- 2D and 3D Tracking

Yu Wang, Sijia Chen+5 more|arXiv (Cornell University)|Jun 28, 2020

Video Surveillance and Tracking Methods参考文献 11被引用数 10

ひとこと要約

本論文は、Waymo Open Datasetのチャレンジで1位を獲得した、統合的でオンラインかつリアルタイムな2次元および3次元マルチオブジェクトトラッキングフレームワーク、HorizonMOTを提示する。高精度なCenterNetベースの検出器と、Re-ID特徴量およびIoU/Gaussianカーネルマッチングを用いた3段階のアソシエーション戦略を活用することで、トラッキング・バイ・検出におけるデータアソシエーションとトラック管理の改善により、2次元で45.13% MOTA/L2、3次元で63.45% MOTA/L2の性能を達成した。

ABSTRACT

This technical report presents the online and real-time 2D and 3D multi-object tracking (MOT) algorithms that reached the 1st places on both Waymo Open Dataset 2D tracking and 3D tracking challenges. An efficient and pragmatic online tracking-by-detection framework named HorizonMOT is proposed for camera-based 2D tracking in the image space and LiDAR-based 3D tracking in the 3D world space. Within the tracking-by-detection paradigm, our trackers leverage our high-performing detectors used in the 2D/3D detection challenges and achieved 45.13% 2D MOTA/L2 and 63.45% 3D MOTA/L2 in the 2D/3D tracking challenges.

研究の動機と目的

• Waymo Open Dataset用に、統合的でリアルタイムかつオンラインな2次元および3次元マルチオブジェクトトラッキングシステムの開発。
• データアソシエーションとトラック管理の強化により、ベースラインのトラッキング・バイ・検出を上回る性能を実現すること。
• 現実的でスケーラブルなフレームワークを用いて、2次元および3次元トラッキングベンチマークの最先端の結果を達成すること。
• 高精度な検出器とRe-ID特徴量を統合し、オクルージョンや長期トラッキングの課題に対処すること。

提案手法

• 2次元（8次元状態）および3次元（10次元状態）空間において、状態予測と更新にカルマンフィルタを用いるトラッキング・バイ・検出フレームワークであるHorizonMOTを提案。
• 3段階のアソシエーション戦略を採用：まずRe-ID特徴量のコサイン距離を用い、次に2次元ではIoU、3次元では3次元中心点におけるガウスカーネルマッチングを適用し、大規模な位置ずれに対応するための適応的スケーリングを実装。
• 2次元検出には、Hourglass-104バックボーンを搭載した高精度なアンカーフリーCenterNetを、3次元検出には改良されたAFDetベースのネットワークを採用。
• 推論時にマルチスケールおよびフリップ増強を適用し、モデルアンサンブルとNMS/重み付きボックス統合を用いて検出出力を統合。
• 訓練データのサブセットを用いて、11層のRe-IDネットワークを別途学習させ、歩行者、自動車、自転車の各クラスに対して512次元の埋め込みを生成。
• 検出アソシエーションカウンタに基づくトラック作成および削除を実装し、トラックの持続時間を制限する最大年齢しきい値を導入。

実験結果

リサーチクエスチョン

• RQ1 Waymo Open Datasetにおいて、既存のトラッキング・バイ・検出手法を上回る性能を発揮する統合的でオンラインかつリアルタイムな2次元および3次元トラッキングフレームワークをどのように設計できるか？
• RQ2 Re-ID特徴量とマルチステージアソシエーションは、長時間のオクルージョン状況下でのトラック断片化の低減およびMOTAの向上にどのような影響を与えるか？
• RQ3 1つの検出器およびトラッカーのフレームワークが、最小限のアーキテクチャ変更で2次元および3次元トラッキングベンチマークの両方でトップパフォーマンスを達成できるか？
• RQ4 適応的IoUおよびガウスカーネルしきい値の使用は、カメラのピッチ運動に起因する大規模なオブジェクト位置ずれに対処するためにどの程度有効か？

主な発見

• HorizonMOTは2次元トラッキングチャレンジで45.13% MOTA/L2、3次元トラッキングチャレンジで63.45% MOTA/L2を達成し、両リーダーボードで1位を獲得した。
• 3段階目のアソシエーションの追加により、ベースライン比でMOTA/L2が3.65%向上し、困難なアソシエーションの処理における有効性が示された。
• Re-ID特徴量の統合により、3段階ベースライン比でMOTA/L2がさらに2.43%向上し、トラック断片化が顕著に低減された。
• 定性的な結果から、フレームワークは長時間のオクルージョンを経ても歩行者を正常にトラッキングでき、カメラのピッチ運動に起因する大規模な位置ずれに対しても対応していた。
• マルチスケール増強と重み付きボックス統合を用いたアンサンブル検出モデルの使用により、検出品質が向上し、直接的にトラッキング性能の向上に寄与した。
• アブレーションスタディの結果、Re-IDおよびマルチステージアソシエーションは、特に混雑で動的なシーンにおいてトップクラスのパフォーマンスを達成する上で不可欠な要素であると確認された。