[論文レビュー] Unifying Short and Long-Term Tracking with Graph Hierarchies

Orcun Cetintas, Guillem Brasó+1 more|arXiv (Cornell University)|Dec 6, 2022

Video Surveillance and Tracking Methods被引用数 7

ひとこと要約

SUSHIは、タスク固有の設計を必要とせず、短期的および長期的トラッキングを統合的に処理するスケーラブルなマルチオブジェクトトラッキングフレームワークを提案する。1つの学習可能なGNNアーキテクチャを用いて、動画を階層的なグラフ構造で処理することで、SUSHIは多様なベンチマークで最先端の性能を達成し、DanceTrackでは最大+9.5、MOT20では+9.1のIDF1向上を実現した。

ABSTRACT

Tracking objects over long videos effectively means solving a spectrum of problems, from short-term association for un-occluded objects to long-term association for objects that are occluded and then reappear in the scene. Methods tackling these two tasks are often disjoint and crafted for specific scenarios, and top-performing approaches are often a mix of techniques, which yields engineering-heavy solutions that lack generality. In this work, we question the need for hybrid approaches and introduce SUSHI, a unified and scalable multi-object tracker. Our approach processes long clips by splitting them into a hierarchy of subclips, which enables high scalability. We leverage graph neural networks to process all levels of the hierarchy, which makes our model unified across temporal scales and highly general. As a result, we obtain significant improvements over state-of-the-art on four diverse datasets. Our code and models are available at bit.ly/sushi-mot.

研究の動機と目的

• 別々の短期および長期手法を組み合わせたハイブリッドマルチレベルトラッカーに見られる、設計に依存する課題や一般化の欠如を解消する。
• 長時間動画トラッキングにおけるスケーラビリティの課題を克服し、階層的サブクリップ分解によって大規模な時間的ギャップを効率的に処理可能にする。
• 最適なキュー（例：動き vs. 外観）に関する仮定を排除し、データ駆動的に時間スケールに応じたタスクに適した特徴をモデルが学習可能にする。
• 複数のレベルからなるグラフ階層上で動作する1つの共有GNNアーキテクチャを用いて、短期的および長期的トラッキングを統一的に処理する。
• オクルージョン、低フレームレート、マルチクラストラッキングを含む、多様な課題を有するさまざまなデータセットへの一般化を実証する。

提案手法

• 長時間の動画クリップを、下位レベルでは短期的関連性に焦点を当て、上位レベルでは時間的スパンが長くなるように階層的なサブクリップに分割する。
• 各階層レベルでの検出結果をノードとして表現し、動き、外観、空間的近接性の特徴に基づいてエッジを構築する。
• すべてのレベルで同じグラフニューラルネットワーク（GNN）アーキテクチャを適用し、関連性を処理して徐々に長いトラックレットを生成する。
• 下位レベルのトラックレット特徴を上位レベルのグラフへの入力として使用することで、時間スケールにわたるトラジェクトリの階層的精練を可能にする。
• 軌道の一貫性とアイデンティティの保存を最適化する微分可能損失関数を用いて、システム全体をエンドツーエンドで学習する。
• モノリシックなグラフを避けることでスケーラビリティを実現し、代わりにサブクリップを独立して処理し、階層構造を通じて結果を統合する。

Figure 2 : SUSHI consists of a set of SUSHI blocks operating hierarchically over a set of tracklets (with initial length one) in a video clip. Each SUSHI block considers a graph with tracklets from a subclip as nodes, performs neural message passing over it, and merges nodes into longer tracks. Over

実験結果

リサーチクエスチョン

• RQ1 タスク固有の設計を一切行わずに、1つの統合モデルが短期的および長期的トラッキングを効果的に処理できるか？
• RQ2 モノリシックなグラフやハイブリッドトラッカーと比較して、階層的グラフアプローチは長時間動画トラッキングにおけるスケーラビリティをどのように向上させるか？
• RQ3 複数の時間スケールにまたがる共有GNNアーキテクチャが、データ駆動的に最も関連性の高いキュー（例：動き vs. 外観）を学習できるか？
• RQ4 ハイブリッドトラッカーと比較して、階層的グラフ構造は多様なベンチマークにおけるアイデンティティ保持性と耐性にどのように寄与するか？
• RQ5 オクルージョン、低フレームレート、マルチクラストラッキングを含む、課題の異なるデータセットに対して、統合フレームワークはどの程度一般化できるか？

主な発見

• DanceTrackベンチマークでは、最先端の手法より+9.5のIDF1向上を達成し、高オクルージョン状況下での強力な一般化を示した。
• MOT20では、プライベートセットで79.8のIDF1および64.3のHOTAを達成し、以前の最先端手法より+4.6のIDF1および+3.0のHOTAを上回り、IDスイッチ数も削減した。
• MOT17では、以前の最先端手法より+4.7のIDF1を向上させ、標準ベンチマークにおける一貫した向上を示した。
• BDDでは、76.2のIDF1および69.2のMOTAを達成し、1つのGNNを全オブジェクトクラスに適用しても、以前の手法より+4.2のmIDF1および+4.9のIDF1を上回った。
• 階層的設計により、長時間クリップの効率的処理が可能となり、モノリシックなグラフベースのトラッカーと比較して推論時間とメモリ使用量を削減した。
• アブレーションスタディの結果、スケール間での統合アーキテクチャと階層的構造の両方が性能に不可欠であることが確認され、それぞれがアイデンティティ保持性に顕著な寄与を示した。

Figure 3 : Our hierarchy is based on recursive partitioning of the video clip and we only allow edges within these partitions. After each level, we merge tracklets belonging to the same identity and consider edges spanning across longer timespans.