[論文レビュー] Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking

Jiawei He, Zehao Huang+2 more|arXiv (Cornell University)|Mar 30, 2021

Video Surveillance and Tracking Methods参考文献 72被引用数 12

ひとこと要約

本論文では、複数対象追跡のための学習可能なグラフマッチングフレームワークであるGMTrackerを提案する。この手法は、フレーム内関係性と深層特徴学習を統合し、MOT16およびMOT17で最先端の性能を達成する。トラックレットと検出結果を一般グラフとしてモデル化し、陰関数定理を用いてグラフマッチングを微分可能で連続的な二次計画問題に緩和することで、遮蔽下でも顕著に高い耐障害性を示した。MOT16およびMOT17ではそれぞれ66.9および68.7のIDF1を達成した。

ABSTRACT

Data association across frames is at the core of Multiple Object Tracking (MOT) task. This problem is usually solved by a traditional graph-based optimization or directly learned via deep learning. Despite their popularity, we find some points worth studying in current paradigm: 1) Existing methods mostly ignore the context information among tracklets and intra-frame detections, which makes the tracker hard to survive in challenging cases like severe occlusion. 2) The end-to-end association methods solely rely on the data fitting power of deep neural networks, while they hardly utilize the advantage of optimization-based assignment methods. 3) The graph-based optimization methods mostly utilize a separate neural network to extract features, which brings the inconsistency between training and inference. Therefore, in this paper we propose a novel learnable graph matching method to address these issues. Briefly speaking, we model the relationships between tracklets and the intra-frame detections as a general undirected graph. Then the association problem turns into a general graph matching between tracklet graph and detection graph. Furthermore, to make the optimization end-to-end differentiable, we relax the original graph matching into continuous quadratic programming and then incorporate the training of it into a deep graph network with the help of the implicit function theorem. Lastly, our method GMTracker, achieves state-of-the-art performance on several standard MOT datasets. Our code will be available at https://github.com/jiaweihe1996/GMTracker .

研究の動機と目的

• 既存のMOT手法が深刻な遮蔽に対処する能力に欠けるという限界を、トラックレットと検出結果のフレーム内関係性を組み込むことで是正する。
• エンドツーエンドの深層学習ベースのトラッカーにおける学習と推論の不整合を解消するため、特徴学習とデータ関連付けを統合する。
• 最適化ベースの割り当てと深層学習のギャップを埋めるために、連続的緩和と陰関数定理を用いてグラフマッチングを微分可能にする。
• フレーム間およびフレーム内関係性を一般グラフ構造としてモデル化することで、データ関連付けの耐障害性と正確性を向上させる。
• 微分可能QP層を用いて特徴抽出と割り当てを協調的に訓練することで、標準的なMOTベンチマークで最先端の性能を達成する。

提案手法

• トラックレットグラフと検出結果グラフの間の一般グラフマッチング問題としてデータ関連付けをモデル化する。頂点はトラックレットと検出結果を表し、辺は類似度を符号化する。
• 2次元のエッジ同士の類似度を用いてフレーム内関係性を統合し、遮蔽下での耐障害性を向上させる。
• 離散的グラフマッチング問題を連続的二次計画（QP）定式化に緩和することで、エンドツーエンドのバックプロパゲーションを可能にする。
• KKT条件と陰関数定理を用いて、バックプロパゲーション中に入力特徴量に関する勾配を計算する微分可能QP層を設計する。
• 微分可能QP層を深層グラフネットワークに統合し、エンドツーエンドの方法で特徴学習とデータ関連付けを同時に最適化する。
• 標準的なバックプロパゲーションを用いて、ネットワーク全体をエンドツーエンドで訓練することで、文脈に適応した特徴量と最適な割り当てを同時に学習可能にする。

Figure 1: An illustration of intra-graph relationship used in our graph matching formulation. We utilize the second-order edge-to-edge similarity to model the group activity, which is more robust under heavy occlusion. Note that not all vertices in tracklet graph can be matched to the detection grap

実験結果

リサーチクエスチョン

• RQ1 トラックレットと検出結果のフレーム内関係性をモデル化することで、深刻な遮蔽下における複数対象追跡の耐障害性が向上するか？
• RQ2 離散的グラフマッチングをどのようにして微分可能にすれば、深層特徴学習と統合されたエンドツーエンド学習が可能になるか？
• RQ3 最適化ベースの割り当てと深層学習を統合することで、完全にエンドツーエンドで学習された手法と比較して、追跡精度が向上するか？
• RQ4 長期間の文脈とグループ活動パターンを組み込むことで、MOTにおけるデータ関連付けにどの程度の向上効果が得られるか？
• RQ5 特徴学習と割り当てを統合的かつ微分可能なフレームワークとして設計することで、従来の分離型アプローチを上回る性能が標準ベンチマークで達成できるか？

主な発見

• GMTrackerは、MOT17テストセットで66.9のIDF1という新たな最先端スコアを達成し、事前オンライン手法のTracktor++v2（55.1）やGNNMatch（56.1）を上回った。
• MOT16では68.7のIDF1を達成し、以前の最先端手法LifT（65.6）およびMPNTrack（61.7）を顕著に上回った。
• HOTAはMOT17で52.0、MOT16で55.2に向上し、全体的な追跡精度と耐障害性の向上を示した。
• アブレーションスタディにより、2次元エッジ類似度を用いたフレーム内関係性の統合が、MOT17でIDF1に2.1%の向上をもたらしたことが確認された。
• 微分可能QP層によりエンドツーエンド学習が可能となり、学習と推論のドメインギャップが低減し、一般化性能が向上した。
• 最小限の追加パラメータで優れた性能を達成したため、大規模ベンチマークにおける効率性とスケーラビリティが示された。

Figure 2: An example of the derivation from edge affinity matrix $\mathbf{M_{e}}$ to quadratic affinity matrix $\mathbf{M}$ .