[論文レビュー] Multi-object Tracking via End-to-end Tracklet Searching and Ranking

Tao Hu, Lichao Huang+1 more|arXiv (Cornell University)|Mar 4, 2020

Video Surveillance and Tracking Methods参考文献 41被引用数 8

ひとこと要約

本論文は、マージン損失とランク損失を用いてトラックレットの一貫性を直接最適化することで、オンライン仮説探索の訓練により露出バイアスを低減するエンドツーエンドのトラックレット検索およびランク付けフレームワークを提案する。MOT15–17ベンチマークにおいて最先端の性能を達成し、オンライン設定下でMOTAを46.2に向上させ、IDSを374に低減した。

ABSTRACT

Recent works in multiple object tracking use sequence model to calculate the similarity score between the detections and the previous tracklets. However, the forced exposure to ground-truth in the training stage leads to the training-inference discrepancy problem, i.e., exposure bias, where association error could accumulate in the inference and make the trajectories drift. In this paper, we propose a novel method for optimizing tracklet consistency, which directly takes the prediction errors into account by introducing an online, end-to-end tracklet search training process. Notably, our methods directly optimize the whole tracklet score instead of pairwise affinity. With sequence model as appearance encoders of tracklet, our tracker achieves remarkable performance gain from conventional tracklet association baseline. Our methods have also achieved state-of-the-art in MOT15~17 challenge benchmarks using public detection and online settings.

研究の動機と目的

• トレーニング中に真値の強制的露出によって引き起こされるトレーニング・インフェレンスの不一致（露出バイアス）を是正すること。
• ペアワイズ類似度ではなく、全トラックレットのグローバルスコアを最適化することで、トラックレットの一貫性を向上させること。
• トレーニング中に現実的で順序のないトラックレット仮説にさらされることで、インフェレンスにおける誤りの蓄積を排除すること。
• さまざまなアーキテクチャに適用可能なプラグアンドプレイ型で、シーケンスモデルに依存しないフレームワークを構築し、トラッキング性能を向上させること。
• 公開検出結果とオンライン設定を用いて、標準的なMOTベンチマークで最先端の性能を達成すること。

提案手法

• トレーニング時に予測データの分布を模倣するための「検索・学習・ランク付け・ pruning」に基づく新規なトレーニングパイプラインを導入する。
• 真値と負例のトラックレット仮説間のスコア差を最大化するためのマージン損失を採用する。
• 検索空間内のすべての他の候補よりも真値トラックレットが上位にランク付けされるように保証するためのランク損失を適用する。
• LSTM+アテンションなどの注意機構を備えた再帰的シーケンスモデルを用いて、トラックレットの外観および運動特徴を符号化する。
• 各時刻でC個の検出結果からK個の候補トラックレットを生成し、損失計算用に上位K個にプルーニングするオンライントラックレット検索を実行する。
• トレーニング中に真値トラックレットに依存せず、予測されたトラックレットのみを用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのトラックレット検索およびランク付けは、マルチオブジェクトトラッキングにおける露出バイアスを低減できるか？
• RQ2 ペアワイズ類似度ではなく、グローバルなトラックレットスコアを最適化することで、トラッキングの一貫性と性能が向上するか？
• RQ3 トレーニング中にオンライン仮説検索を実施することで、実際のインフェレンス状況を効果的にシミュレートでき、誤りの蓄積が低減するか？
• RQ4 本フレームワーク内での異なるシーケンスモデル（例：LSTM、Transformer）の性能はどのように異なるか？
• RQ5 本手法は、標準的なMOTベンチマークでどの程度最先端の性能を向上させられるか？

主な発見

• 提案手法はMOT17ベンチマークでMOTA 46.2を達成し、以前の最先端手法を上回った。
• IDS（IDスイッチ）を374に低減し、ベースラインおよびアブレーションバージョンと比べて顕著な改善を示した。
• アブレーションスタディにより、マージン損失、ランク損失、およびオンライントラックレット検索の各コンポonentが性能向上に顕著な寄与をしていることが確認された。
• 候補検出数（C）と保持されるトラックレット数（K）を増やすことでMOTAが向上し、IDSが低減した。これは、拡大された検索空間の恩恵があることを示している。
• LSTMにアテンションを組み合わせたモデルが、標準LSTMやTransformerを上回り、46.2のMOTAと374のIDSを達成した。
• フレームワークはさまざまなシーケンスモデルに対して頑健であり、トラックレットエンコーダが異なるアーキテクチャに容易に統合可能で、効果的であることが示された。