[論文レビュー] RelationTrack: Relation-aware Multiple Object Tracking with Decoupled Representation

En Yu, Zhuoling Li+2 more|arXiv (Cornell University)|May 10, 2021

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

RelationTrackは、最適化の矛盾を解消するために、検出と再識別（ReID）の特徴をグローバルコンテキストディセントアンリング（GCD）モジュールで分離する、新しいオンラインマルチオブジェクトトラッキングフレームワークを提案する。同時に、可変アテンションを組み込んだガイドドトランスフォーマーインコーダー（GTE）を用いて、効率的なグローバル意味的関係のモデリングを実現している。本手法は、MOT20で70.5%のIDF1と67.2%のMOTAを達成し、最先端の性能を発揮した。

ABSTRACT

Existing online multiple object tracking (MOT) algorithms often consist of two subtasks, detection and re-identification (ReID). In order to enhance the inference speed and reduce the complexity, current methods commonly integrate these double subtasks into a unified framework. Nevertheless, detection and ReID demand diverse features. This issue would result in an optimization contradiction during the training procedure. With the target of alleviating this contradiction, we devise a module named Global Context Disentangling (GCD) that decouples the learned representation into detection-specific and ReID-specific embeddings. As such, this module provides an implicit manner to balance the different requirements of these two subtasks. Moreover, we observe that preceding MOT methods typically leverage local information to associate the detected targets and neglect to consider the global semantic relation. To resolve this restriction, we develop a module, referred to as Guided Transformer Encoder (GTE), by combining the powerful reasoning ability of Transformer encoder and deformable attention. Unlike previous works, GTE avoids analyzing all the pixels and only attends to capture the relation between query nodes and a few self-adaptively selected key samples. Therefore, it is computationally efficient. Extensive experiments have been conducted on the MOT16, MOT17 and MOT20 benchmarks to demonstrate the superiority of the proposed MOT framework, namely RelationTrack. The experimental results indicate that RelationTrack has surpassed preceding methods significantly and established a new state-of-the-art performance, e.g., IDF1 of 70.5% and MOTA of 67.2% on MOT20.

研究の動機と目的

• 共同トラッキングフレームワークにおける検出とReIDの間の最適化の矛盾を解消すること。
• 局所特徴を超えたグローバル意味的関係のモデリングにより、トラッキング精度を向上させること。
• グローバルアテンション機構における計算コストを低減しつつ、長距離依存性のモデリングを維持すること。
• オンラインMOTにおける効率的な関係推論を実現する軽量だが強力なモジュールの開発

提案手法

• 最適化の矛盾を軽減するため、共有特徴を検出固有とReID固有の埋め込みに分離する自己動機付け型モジュールであるグローバルコンテキストディセントアンリング（GCD）を導入する。
• 可変アテンションとトランスフォーマーインコーダー構造を組み合わせたガイドドトランスフォーマーインコーダー（GTE）を提案し、計算量を削減しつつグローバル構造的関係を捉える。
• 各クエリノードに対して自己適応的なキーサンプルを少数選択することで、アテンションの複雑さをO(n²)からO(n)に削減する。
• 検出とReIDが分離された特徴により独立して最適化される二本の特徴学習戦略を採用する。
• 検出、ReID、関係推論を一度のネットワーク内でエンドツーエンド学習可能となる共同学習フレームワークを設計する。
• 性能と計算コストのバランスを最適化するため、GTEにおけるキーサンプル数を最適化し、1クエリあたり9サンプルが最適であると特定した。

実験結果

リサーチクエスチョン

• RQ1 検出とReID特徴の分離は、最適化の矛盾を軽減し、トラッキング精度を向上させることができるか？
• RQ2 軽量なグローバル関係モデリング機構は、局所的またはグローバルアテンションを凌駆する性能を発揮できるか？
• RQ3 可変アテンションにおけるキーサンプル数は、トラッキング精度と計算効率にどのように影響するか？
• RQ4 関係に注意を払うフレームワークは、オクルージョンや小規模なターゲットといった困難な条件下でも頑健性を維持できるか？

主な発見

• RelationTrackは、MOT20ベンチマークで70.5%のIDF1と67.2%のMOTAという、新たな最先端の結果を達成した。
• MOT17では、GCDモジュールを用いることでIDF1が73.3%から74.9%に向上し、最適化の矛盾の効果的な緩和が確認された。
• GTEモジュールは9個のキーサンプルで最良のバランスを達成し、MOT17で75.3%のIDF1と70.1%のMOTAを達成した。9個を超えると性能低下は最小限にとどまった。
• MOT16ではFairMOTよりIDF1で3.0%、MOT17では2.4%高い性能を発揮し、SOTA性能の妥当性を裏付けた。
• 頑健性分析の結果、RelationTrackはFairMOTやCSTrackが失敗する部分的オクルージョンターゲットを正常にトラッキングでき、優れた特徴表現能力を示した。
• 可視化の結果、GCDが検出固有特徴では検出に関連する領域を明確に強調し、ReID固有特徴では識別に寄与する部分を的確に抽出していることが確認された。