[論文レビュー] Eliminating Exposure Bias and Loss-Evaluation Mismatch in Multiple Object Tracking

Andrii Maksai, Pascal Fua|arXiv (Cornell University)|Nov 27, 2018

Video Surveillance and Tracking Methods参考文献 6被引用数 13

ひとこと要約

本論文は、反復的で露光豊富なデータ生成方式と、IDF1 トラッキング指標を直接代理する学習済みスコア関数を用いることで、露出バイアスと損失-評価不一致を解消する、複数対象追跡のための新規な訓練手順を提案する。この手法は、MOT15、MOT17、DukeMTMCベンチマークにおいて、外見特徴を用いなくても最先端の性能を達成し、外見特徴を組み合わせることでさらに性能を向上させる。

ABSTRACT

Identity Switching remains one of the main difficulties Multiple Object Tracking (MOT) algorithms have to deal with. Many state-of-the-art approaches now use sequence models to solve this problem but their training can be affected by biases that decrease their efficiency. In this paper, we introduce a new training procedure that confronts the algorithm to its own mistakes while explicitly attempting to minimize the number of switches, which results in better training. We propose an iterative scheme of building a rich training set and using it to learn a scoring function that is an explicit proxy for the target tracking metric. Whether using only simple geometric features or more sophisticated ones that also take appearance into account, our approach outperforms the state-of-the-art on several MOT benchmarks.

研究の動機と目的

• 混雑したシーンにおけるアイデンティティの入れ替え問題に対処すること。
• 訓練損失と実際のトラッキング指標（例：IDF1、MOTA）が一致しない損失-評価不一致問題を解消すること。
• 訓練中に自身の予測をモデルに露出させることで、露出バイアスを排除すること。
• IDF指標を明示的に代理するスコア関数を開発し、トラッキング性能に基づくエンドツーエンド訓練を可能にすること。
• 外見特徴を用いなくても最先端の性能を達成することを示すこと。さらに外見特徴を組み合わせることで性能を向上させること。

提案手法

• 真のトラッケットレールのみではなく、すべての妥当なトラッケットグループ化を考慮することで、反復的訓練スキームを用いて豊富な訓練データを生成する。
• IDの信頼度、ボクシングボックスのタイトネス、トラジェクトリの延長を推定する学習済みスコア関数を用い、真のラベルを必要とせずにIDF1指標を直接代理する。
• 分類、回帰、およびスコア関数を組み合わせた損失関数で訓練するRNNベースのシーケンスモデルを採用し、アイデンティティの入れ替えを最小限に抑える。
• 訓練中にソフトマックス確率のスケーリングに温度の段階的低下スケジュールを適用し、マージ意思決定の安定化を図る。
• 可変長シーケンス（訓練時3秒、推論時6秒）を用いたバッチ学習プロトコルを採用し、DPM検出器を用いる場合にボクシングボックスシフト回帰を統合する。
• CUHK03で再識別ネットワークを事前学習し、訓練シーケンスで微調整する。ハイパーパrameterは検証データ上でグリッドサーチで最適化する。

実験結果

リサーチクエスチョン

• RQ1 モデルが自身の予測を訓練中に露出させることで、複数対象追跡における露出バイアスが軽減されるか？
• RQ2 IDF1指標を明示的に代理するスコア関数が、訓練と実際の評価指標との整合性を高められるか？
• RQ3 損失-評価不一致を解消することで、一般化性能が向上し、アイデンティティの入れ替えが減少するか？
• RQ4 外見特徴を一切用いなくても、モデルが最先端の性能を達成できるか？
• RQ5 提案手法はMOT15、MOT17、DukeMTMCなどの多様なベンチマークに効果的にスケーリングできるか？

主な発見

• DukeMTMCデータセットでは、提案手法（OURS）がEasyセットで76.8のIDF1と65.4のMOTAを達成し、REIDやCDSCを含むすべてのベースラインを上回った。
• DukeMTMCのHardセットでは、22.2のMOTAと27.2のIDF1を達成し、SORT（21.7 MOTA）やRNN（19.0 MOTA）を顕著に上回った。
• MOT15では、全体のMOTA/IDF1が74.6/70.1に達し、SORT（24.9/49.9）や他の最先端手法を上回った。
• MOT17では、50.9のMOTAと52.7のIDF1を達成し、DMAN、JCC、MOTDT17を上回り、上位の手法の一つとなった。
• 外見特徴を一切使用しない場合（OURS-geom）でも、DukeMTMC Easyセットで65.5のIDF1と59.1のMOTAを達成し、幾何的特徴のみでも強力な性能を示した。
• アブレーションスタディにより、提案スコア関数と反復的データ生成がアイデンティティの入れ替えを低減させ、トラッキングのロバスト性を向上させることの重要性が確認された。