[論文レビュー] Joint Object Detection and Multi-Object Tracking with Graph Neural Networks

Yongxin Wang, Kris Kitani+1 more|arXiv (Cornell University)|Jun 23, 2020

Video Surveillance and Tracking Methods被引用数 16

ひとこと要約

本論文は、空間的・時間的対象関係をモデル化するためのグラフニューラルネットワーク（GNN）を用いた、共同マルチオブジェクトトラッキング（MOT）フレームワークを提案する。フレーム間の対象間依存関係をGNNで捉えることで、MOT15/16/17/20ベンチマークにおいて、検出とトラッキングの両方の指標で、従来の共同および分離型手法を上回る最先端の性能を達成した。

ABSTRACT

Object detection and data association are critical components in multi-object tracking (MOT) systems. Despite the fact that the two components are dependent on each other, prior works often design detection and data association modules separately which are trained with separate objectives. As a result, one cannot back-propagate the gradients and optimize the entire MOT system, which leads to sub-optimal performance. To address this issue, recent works simultaneously optimize detection and data association modules under a joint MOT framework, which has shown improved performance in both modules. In this work, we propose a new instance of joint MOT approach based on Graph Neural Networks (GNNs). The key idea is that GNNs can model relations between variable-sized objects in both the spatial and temporal domains, which is essential for learning discriminative features for detection and data association. Through extensive experiments on the MOT15/16/17/20 datasets, we demonstrate the effectiveness of our GNN-based joint MOT approach and show state-of-the-art performance for both detection and MOT tasks. Our code is available at: https://github.com/yongxinw/GSDT

研究の動機と目的

• 検出とデータ関連付けモジュールを別々に学習し、エンド・トゥ・エンド最適化を行わない従来のMOTシステムの性能が最適でないという問題に対処する。
• 検出段階で対象同士の関係を無視するが、データ関連付けでは関係を利用している従来の共同MOT手法の制限を克服する。
• 空間的・時間的変動するサイズの対象間相互作用をモデル化することで、検出とデータ関連付けの両方の特徴の識別性を向上させる。
• GNNを用いて検出とデータ関連付けを共同で最適化することで、分離型または関係無視型の共同学習よりも優れた全体的なMOT性能が得られることを示す。
• GNNを統合した一貫性のある微分可能MOTフレームワークとして、マルチオブジェクトトラッキングの新しい最先端ベースラインを確立する。

提案手法

• フレーム全体の検出対象（バウンディングボックス）をノードとするグラフを構築し、エッジは対象間の空間的・時間的近接性を符号化する。
• グラフニューラルネットワーク（GNN）、特にAGNNConvレイヤーを適用してノード間で特徴を伝搬・集約し、各対象の表現を空間的・時間的近隣の影響に基づいて更新する。
• GNN処理済みの特徴を、検出ヘッド（バウンディングボックスおよびクラス予測用）とデータ関連付けヘッド（Re-IDおよびトラックレットマッチング用）の入力として使用する。
• 検出損失（例：分類およびボックス回帰）とトラッキング損失（例：トリプレットまたはコントラスト損失によるRe-ID）を組み合わせた共同損失を用いて、ネットワーク全体をエンド・トゥ・エンドで学習する。
• GNNをトラッキング・バイ・検出パイプラインに統合し、検出モジュールと関連付けモジュールの両方に勾配が流れ込むようにする。
• バックボーンとして汎用検出器（例：Faster R-CNN）を用い、その後にGNNで特徴を拡張して対象間の依存関係をモデル化し、最終的な予測ヘッドの入力とする。

実験結果

リサーチクエスチョン

• RQ1 GNNを用いて空間的・時間的対象関係をモデル化することで、共同MOTフレームワークにおける検出とデータ関連付けの両方の性能が向上するか？
• RQ2 対象間依存関係を捉えるGNNを用いたエンド・トゥ・エンド学習は、分離学習や関係無視型の共同学習よりも、検出とトラッキングの両方の性能を向上させるか？
• RQ3 GNNアーキテクチャの深さは、検出精度とトラッキングの一貫性のトレードオフにどのように影響するか？
• RQ4 関係をデータ関連付けでのみ利用する従来手法や、関係を一切利用しない手法と比較して、GNNベースの関係モデリングはより効果的か？
• RQ5 共起するまたは同方向に移動する対象間の文脈的関係を活用することで、GNNは誤検出やIDスイッチを低減できるか？

主な発見

• 提案されたGNNベースの共同MOTフレームワークは、MOTChallengeベンチマークの4つすべて（MOT15, MOT16, MOT17, MOT20）で最先端の性能を達成した。
• MOT17では、87.8%の精度と90.7%の再現率を達成し、F_ViPeD_B や ZIZOM といった従来手法を検出指標で上回った。
• MOT15ではMOTAが82.1%、IDF1が76.4%を達成し、高いトラッキング一貫性と顕著なIDスイッチの削減（IDS: 71、GNNなしベースラインの139から低下）を示した。
• アブレーションスタディの結果、単一のGNNレイヤーを追加するだけで、GNNなしベースライン比でMOTAが2.1ポイント向上し、関係モデリングの有効性を裏付けた。
• 3層GNNモデルは最高のMOTA（82.1%）を達成したが、2層モデルに比べてわずかにIDF1が低かった（76.4%）、これは検出とトラッキング最適化のトレードオフを示唆している。
• [22, 30]のような従来の共同手法や[34]のような分離手法と比較して、提案手法は全データセットで一貫して優れた性能を示し、関係モデリングを組み込んだ共同最適化が最先端性能を達成するために不可欠であることを実証した。