[論文レビュー] Enhancing the Association in Multi-Object Tracking via Neighbor Graph

Tianyi Liang, Long Lan+1 more|arXiv (Cornell University)|Jul 1, 2020

Video Surveillance and Tracking Methods参考文献 39被引用数 4

ひとこと要約

本論文では、隣接するターゲット間の空間的・時間的関係を活用することで、遮蔽、照明変化、検出誤りに対する耐性を高めるために、近隣グラフに基づく手法を提案する。ターゲットとその選択された近隣者からなるグラフを構築し、グラフ畳み込みネットワーク（GCN）を適用することで、より信頼性が高く、グループに配慮した特徴を学習し、オンライン追跡プロトコル下でのMOTベンチマークで最先端の性能を達成する。

ABSTRACT

Most modern multi-object tracking (MOT) systems follow the tracking-by-detection paradigm. It first localizes the objects of interest, then extracting their individual appearance features to make data association. The individual features, however, are susceptible to the negative effects as occlusions, illumination variations and inaccurate detections, thus resulting in the mismatch in the association inference. In this work, we propose to handle this problem via making full use of the neighboring information. Our motivations derive from the observations that people tend to move in a group. As such, when an individual target's appearance is seriously changed, we can still identify it with the help of its neighbors. To this end, we first utilize the spatio-temporal relations produced by the tracking self to efficiently select suitable neighbors for the targets. Subsequently, we construct neighbor graph of the target and neighbors then employ the graph convolution networks (GCN) to learn the graph features. To the best of our knowledge, it is the first time to exploit neighbor cues via GCN in MOT. Finally, we test our approach on the MOT benchmarks and achieve state-of-the-art performance in online tracking.

研究の動機と目的

• 遮蔽、照明変動、不正確な検出の下で個々の外見特徴の脆弱性を是正すること。
• 隣接ターゲットからの文脈的情報を活用して、データアソシエーションの耐性を向上させること。
• トラッキングシステム自体が提供する空間的・時間的情報を用いて、効率的かつ効果的な近隣選択戦略を考案すること。
• グラフ畳み込みネットワーク（GCN）を統合し、ターゲットと近隣者の関係性をモデル化することで、集団的特徴を学習し、トラッキング性能を向上させること。

提案手法

• トラッキングシステムからの空間的・時間的情報を用いて、各ターゲットの関連する近隣者を効率的かつ関連性を持って選択する。
• ターゲットを中心ノードとし、選択された近隣者を接続ノードとする近隣グラフを構築する。
• グラフ畳み込みネットワーク（GCN）を適用し、近隣グラフ全体で特徴を集約・精錬し、より頑健で文脈に配慮した表現を学習する。
• 近隣グラフモジュールをJDEフレームワークに統合し、検出および埋め込みヘッドの後にGCN層を追加する。
• 近隣数Kは4に設定され、K未満の近隣者が存在する場合は、ターゲットをコピーしてグラフを埋める。
• Adam最適化アルゴリズムを用いてエンドツーエンドで学習し、学習率の減衰、データオーグメンテーション、およびCOCOおよびCUHK-SYSUデータセットでの事前学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットの外見が遮蔽やノイズによって劣化した場合、隣接ターゲットが信頼できる文脈的情報を提供できるか？
• RQ2 トラッキングシステムが提供する空間的・時間的情報のみを用いて、ターゲットの関連する近隣者を効率的かつ効果的に選択できるか？
• RQ3 グラフ畳み込みネットワークが、ターゲットとその近隣者の関係性をモデル化することで、マルチオブジェクトトラッキングにおける特徴表現をどの程度向上できるか？
• RQ4 近隣グラフ特徴を組み込むことで、オンライン追跡プロトコル下でのMOTAおよびIDF1に測定可能な向上が得られるか？

主な発見

• 本手法は、公開検出プロトコル下でMOT16ベンチマークでMOTA 57.7、IDF1 62.6を達成し、すべての先行オンライントラッカーを上回る性能を示した。
• MOT17では、MOTA 58.4、IDF1 62.9を達成し、オンライントラッカーとしての最先端の性能を示した。
• 近隣グラフモジュールは、JDEベースラインを向上させ、MOT17のトレーニングセットでMOTAを76.4から76.6へ、ID数を2271から2049に削減した。
• IDスイッチ（ID数）と誤検出が顕著に減少し、より安定的かつ正確なデータアソシエーションが実現した。
• アブレーションスタディにより、近隣グラフ学習が外見特徴の劣化や検出ノイズに起因する誤りを効果的に緩和することが確認された。
• 近隣数が少ない場合でも本手法は有効であり、ターゲットをコピーすることで欠損する近隣者を補完するため、スパarsなグラフに対しても対応可能である。