[論文レビュー] Multiple Object Tracking with Mixture Density Networks for Trajectory Estimation

Andreu Girbau, Xavier Giró-i-Nieto+2 more|arXiv (Cornell University)|Jun 21, 2021

Video Surveillance and Tracking Methods参考文献 61被引用数 7

ひとこと要約

この論文では、再帰的混合ガウス分布ネットワークとビームサーチを用いて複数の軌道仮説を生成する軽量な軌道推定器TrajEを提案する。CenterTrackおよびTracktorにTrajEを統合することで、MOTChallenge 2017でMOTAが6.3ポイント、IDF1が3.1ポイント向上し、新たな最先端性能を達成した。

ABSTRACT

Multiple object tracking faces several challenges that may be alleviated with trajectory information. Knowing the posterior locations of an object helps disambiguating and solving situations such as occlusions, re-identification, and identity switching. In this work, we show that trajectory estimation can become a key factor for tracking, and present TrajE, a trajectory estimator based on recurrent mixture density networks, as a generic module that can be added to existing object trackers. To provide several trajectory hypotheses, our method uses beam search. Also, relying on the same estimated trajectory, we propose to reconstruct a track after an occlusion occurs. We integrate TrajE into two state of the art tracking algorithms, CenterTrack [63] and Tracktor [3]. Their respective performances in the MOTChallenge 2017 test set are boosted 6.3 and 0.3 points in MOTA score, and 1.8 and 3.1 in IDF1, setting a new state of the art for the CenterTrack+TrajE configuration

研究の動機と目的

• 物体の軌道を単なるフレーム間の位置変位ではなく、モデル化することで複数対象追跡性能を向上させること。
• 遮蔽、再識別、IDの入れ替えといった課題を、予測的軌道モデルによって解決すること。
• 既存の最先端トレッカーに統合可能な汎用的で軽量な運動モデルを開発すること。
• 遮蔽後の予測軌道分布を用いてトラックを再構築できること。
• 歩行者（MOTChallenge）および車両（UA-DETRAC）の追跡を含む、異なるデータセットへの一般化を検証すること。

提案手法

• TrajEは、物体の将来軌道の事後分布をモデル化する混合ガウス分布を推定するために、1層の再帰的ニューラルネットワークを用いる。
• モデルは複数の軌道仮説を同時に探索するビームサーチを用い、不確実性に対するロバスト性を向上させる。
• 軌道推定は、MOTChallenge 2017データセットの歩行者軌道で訓練され、長期的な運動パターンを学習する。
• 同じ推定された軌道が、遮蔽後のトラック再構築に使用され、欠落した検出からの回復を改善する。
• TrajEは、2つのSOTAトレッカー（CenterTrackおよびTracktor）にプラグイン形式の運動モデルとして統合される。
• 評価は、歩行者追跡（MOTChallenge）および車両追跡（UA-DETRAC）の両方のデータセットで実施され、UA-DETRACの無視領域を処理できるように評価ツールを変更している。

実験結果

リサーチクエスチョン

• RQ1 単にフレーム間の位置変位を扱うのではなく、物体の全軌道をモデル化することで、複数対象追跡性能が顕著に向上するか？
• RQ2 ビームサーチを併用した混合ガウス分布ネットワークは、追跡に適した多様で高尤度の軌道仮説を効果的に生成できるか？
• RQ3 TrajEのような軽量な軌道推定器を、既存のSOTAトレッカーに効果的に統合できるか？
• RQ4 遮蔽後の軌道ベースのトラック再構築は、追跡精度の向上に顕著な効果をもたらすか？
• RQ5 TrajEは、歩行者や車両といった異なる追跡ドメインに一般化できるか？

主な発見

• CenterTrackにTrajEを統合した結果、MOTChallenge 2017テストセットでMOTAが6.3ポイント、IDF1が1.8ポイント向上し、新たな最先端性能を達成した。
• Tracktor+TrajEはMOTAで0.3ポイント、IDF1で3.1ポイントの向上を達成し、MOTChallenge 2017で新たなSOTAを樹立した。
• UA-DETRACデータセットでは、CenterTrack+TrajEがMOTAで0.5ポイント向上、IDF1で2.0ポイント向上し、遮蔽再構築を実装した。
• Tracktor+TrajEはUA-DETRACでMOTAが1.3ポイント、IDF1が1.5ポイント向上し、ドメイン間での一般化を示した。
• トラジェクトリ推定器は、歩行者および車両追跡ベンチマークの両方で一貫した性能向上を示しており、未学習データへの一般化が良好であることが示された。
• ビームサーチの使用により、遮蔽時および再識別時における複数の軌道仮説の有効な探索が可能となり、ロバスト性が向上した。