[論文レビュー] Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking

Xiaolong Jiang, Peizhao Li+2 more|arXiv (Cornell University)|Jul 11, 2019

Video Surveillance and Tracking Methods参考文献 88被引用数 27

ひとこと要約

本論文は、オンライン複数対象追跡のためのエンドツーエンドのグラフニューラルネットワーク（GNN）ベースのフレームワークを提案する。外見特徴と運動特徴を共同で学習し、類似度スコアを計算するとともに、GNNを用いて微分可能でスケーラブルな方法で最大重み付き二部マッチングを解く。本手法はMOT17およびMOT15ベンチマークで45.4% MOTAおよび27.8% IDF1の最先端性能を達成し、対象の出現・消滅に対するロバスト性が向上し、ハイパーパrameterチューニングの必要性が低減していることを示している。

ABSTRACT

In this work, we present an end-to-end framework to settle data association in online Multiple-Object Tracking (MOT). Given detection responses, we formulate the frame-by-frame data association as Maximum Weighted Bipartite Matching problem, whose solution is learned using a neural network. The network incorporates an affinity learning module, wherein both appearance and motion cues are investigated to encode object feature representation and compute pairwise affinities. Employing the computed affinities as edge weights, the following matching problem on a bipartite graph is resolved by the optimization module, which leverages a graph neural network to adapt with the varying cardinalities of the association problem and solve the combinatorial hardness with favorable scalability and compatibility. To facilitate effective training of the proposed tracking network, we design a multi-level matrix loss in conjunction with the assembled supervision methodology. Being trained end-to-end, all modules in the tracker can co-adapt and co-operate collaboratively, resulting in improved model adaptiveness and less parameter-tuning efforts. Experiment results on the MOT benchmarks demonstrate the efficacy of the proposed approach.

研究の動機と目的

• 手作業で設計されたデータアソシエーションヒューリスティクスに依存する伝統的なオンライン複数対象追跡手法の限界を解消し、スケーラビリティの低さや対象の出現・消滅への感受性の高さを改善すること。
• オンラインMOTにおけるデータアソシエーションの組合せ的困難さと可変な基数性に対処するため、固定された線形割り当てに代わる学習可能で微分可能な最適化モジュールを導入すること。
• 特徴学習とマッチング意思決定の間の協調的最適化を促進するため、データアソシエーションパイプライン全体をエンドツーエンドで訓練可能にする。これにより、手動によるハイパーパrameterチューニングの必要性を低減する。
• アセンブルドされた監視を用いたマルチレベルマトリクス損失を設計し、特にデータが少ない状況下でも訓練の安定性と性能を向上させる。
• GNNベースの最適化が、高い対象動的変化を伴う複雑な追跡シナリオを処理する際、RNN/LSTMベースのアプローチを上回ることを実証する。

提案手法

• トラッキングされた軌跡と検出結果をノードとするグラフ上で、各フレームのデータアソシエーションを最大重み付き二部マッチング問題として定式化する。エッジの重みはペアワイズ類似度を表す。
• 深層ニューラルネットワークを用いて外見特徴と運動特徴を共同で符号化し、学習されたメトリクスを介してペアワイズ類似度スコアを計算するアフィニティ学習モジュールを設計する。
• メッセージパッシングを実行するGNNベースの最適化モジュールを実装し、二部グラフ上で最終的なマッチングを推論する。これにより、対象数の変動に適応可能となり、関係性の推論が向上する。
• アフィニティマトリクス、運動特徴、および最終的なアソシエーション出力の監視を統合したマルチレベルマトリクス損失を導入し、強力な一般化性能を実現するエンドツーエンド訓練を可能にする。
• 真のアソシエーションに基づく教師あり学習を用いて、後処理のヒューリスティクスやテスト時チューニングを回避して、フレームワーク全体をエンドツーエンドで訓練する。
• 局所的なノードとエッジでの動作を特徴とするメッセージパッシングGNNアーキテクチャを採用し、動的シーンの基数性に対してもスケーラビリティと互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 GNNに基づく学習可能でエンドツーエンドのフレームワークは、従来の手作業で設計されたデータアソシエーションモジュールを上回ることができるか？
• RQ2 共同で訓練されたアフィニティモジュールにおける外見と運動の特徴統合は、追跡精度とロバスト性をどの程度向上させるか？
• RQ3 GNNベースの最適化モジュールは、リアルタイム追跡における組合せ的複雑さと可変な基数性をどのように処理するか？
• RQ4 アフィニティ、運動、出力の複数のネットワークコンponentにわたるアセンブルド監視は、単一監視ベースラインと比較して収束性と性能をどの程度向上させるか？
• RQ5 提案されたフレームワークは、推論時における後処理ヒューリスティクスやデータオーグメンテーションに依存せずに、競争力のある結果を達成できるか？

主な発見

• 提案されたエンドツーエンドのGNNベースのトラッカーは、MOT17ベンチマークで45.4% MOTAおよび27.8% IDF1を達成し、RNN-LSTMやRMOTを含む先行のオンライントラッカーを上回っている。
• MOT15では39.5% IDF1を達成し、RNN-LSTMベースラインより3.5%高い。MOTAとMTの両方で12.8%および3.5%の向上を示している。
• アブレーションスタディにより、GNN最適化モジュールが顕著に寄与しており、それなしのベースラインと比較してMOTAが15%向上していることが確認された。また、アセンブルド監視は単一監視学習と比較して性能を4.9%向上させた。
• 完全なモデルは、単一監視ベースラインと比較してIDスイッチを7.7%低減しており、より良好な長期的トラジェクトリの整合性を示している。
• テスト時ヒューリスティクスやデータオーグメンテーションを一切使用せず、最小限のハイパーパrameterチューニングで優れた一般化性能を示している。
• GNNモジュールは、変化するグラフサイズに動的に適応することで、対象の出現・消滅を効果的に処理しており、従来のソルバで一般的な線形割り当て制約の違反を回避している。