[論文レビュー] Online Multiple Object Tracking with Cross-Task Synergy

Song Guo, Jingya Wang+2 more|arXiv (Cornell University)|Apr 1, 2021

Video Surveillance and Tracking Methods参考文献 61被引用数 4

ひとこと要約

本論文は、時間的注意と識別子に配慮したメモリ集約を用いて、位置予測とアイデンティティ埋め込みの関連付けの間で相乗効果を生む統合的オンラインマルチオブジェクトトラッキングフレームワークを提案する。両タスクを統合的に最適化することで、遮蔽に対する頑健性が著しく向上し、MOTChallengeベンチマークで最先端の性能を達成し、ベースライン手法と比較して1.0のMOTA向上を達成した。

ABSTRACT

Modern online multiple object tracking (MOT) methods usually focus on two directions to improve tracking performance. One is to predict new positions in an incoming frame based on tracking information from previous frames, and the other is to enhance data association by generating more discriminative identity embeddings. Some works combined both directions within one framework but handled them as two individual tasks, thus gaining little mutual benefits. In this paper, we propose a novel unified model with synergy between position prediction and embedding association. The two tasks are linked by temporal-aware target attention and distractor attention, as well as identity-aware memory aggregation model. Specifically, the attention modules can make the prediction focus more on targets and less on distractors, therefore more reliable embeddings can be extracted accordingly for association. On the other hand, such reliable embeddings can boost identity-awareness through memory aggregation, hence strengthen attention modules and suppress drifts. In this way, the synergy between position prediction and embedding association is achieved, which leads to strong robustness to occlusions. Extensive experiments demonstrate the superiority of our proposed model over a wide range of existing methods on MOTChallenge benchmarks. Our code and models are publicly available at https://github.com/songguocode/TADAM.

研究の動機と目的

• 既存のオンラインMOT手法が位置予測と埋め込み関連付けを独立したタスクとして扱うため、遮蔽下で性能が著しく低下するという限界を是正すること。
• 注意メカニズムとメモリ集約を介して両タスクを結びつけることで、位置予測とデータ関連付けの相互利益を確立すること。
• 現在の手法が予測のずれやノイズの多い埋め込みにより失敗しやすい、重度の遮蔽を伴う複雑なシナリオにおけるトラッキングの頑健性を向上させること。
• 共有表現を用いて両タスクを統合的に最適化可能な、統一的でエンドツーエンドで学習可能なモデルを開発すること。

提案手法

• アイデンティティ埋め込みを用いて特徴の注目を制御する時間的注意（TA）モジュールと、不要な物体からの干渉を低減するための干渉要因注意（DA）モジュールを導入する。
• 時間経過とともに判別性の高い埋め込みを集約するアイデンティティに配慮したメモリ集約モジュールを採用し、注目生成の強化と予測の信頼性向上を図る。
• 注目モジュールを用いて、特に遮蔽時におけるターゲットの強調と干渉要因の抑制を実現し、バウンディングボックスの予測精度を向上させる。
• 注目によって誘導された信頼性の高い埋め込みを活用し、さらに注目品質を向上させるという正のフィードバックループを構築する。
• 統一された損失関数を用いて、位置予測、埋め込み関連付け、およびすべてのモジュールをエンドツーエンドで統合的に最適化する。
• 遮蔽度に応じて注目モジュールの重みを適応的に調整し、高遮蔽状況でのみ強い注目を適用することで、容易なケースでの性能低下を回避する。

実験結果

リサーチクエスチョン

• RQ1 オンラインMOTにおける位置予測と埋め込み関連付けを独立したタスクとして扱うのではなく、相互に利益をもたらす形で統合的に最適化できるか？
• RQ2 ターゲットに注目し干渉要因を抑制することで、位置予測が遮蔽に対してどれほど頑健になるかを実現するための注意メカニズムは、どのように設計できるか？
• RQ3 アイデンティティに配慮したメモリ集約は、長時間の遮蔽下でも注目品質とトラッキング性能をどの程度向上させるか？
• RQ4 遮蔽度に応じて注目モジュールを適応的に適用することで、均一な適用に比べて全体的な性能が向上するか？
• RQ5 統一的でエンドツーエンドで学習可能なモデルは、標準的なMOTベンチマークで既存の最先端手法を上回ることができるか？

主な発見

• 提案手法はMOTChallengeベンチマークで最先端の性能を達成し、既存手法と比較して顕著なMOTA向上を示した。
• 遮蔽度が90%を超える状況では、トラッカーの追跡率が25%に達した一方で、Tracktor++V2はわずか5%にとどまり、極端な遮蔽下でも強い頑健性を示した。
• 注目モジュールの適応的重み付けを削除するとMOTAが1.0低下し、文脈に配慮した注目適用の必要性が裏付けられた。
• メモリ集約を単純なフレームごとの参照保存に置き換えるとMOTAが0.5低下し、長期的な識別子表現の重要性が明確になった。
• アブレーションスタディにより、ターゲットおよび干渉要因の両方の注目モジュールが、特に高遮蔽状況下で性能向上に顕著な貢献をしていることが確認された。
• アブレーションによる検証により、予測と関連付けの間の連携が裏付けられ、統合的最適化が独立したタスク最適化を上回ることを示した。