[論文レビュー] Learning a Proposal Classifier for Multiple Object Tracking

Peng Dai, Renliang Weng+4 more|arXiv (Cornell University)|Mar 14, 2021

Video Surveillance and Tracking Methods参考文献 65被引用数 8

ひとこと要約

本論文は、複数対象追跡（MOT）のための学習可能でプロポーザルベースのフレームワークを提案する。このフレームワークは、追跡をプロポーザル生成、グラフ畳み込みネットワーク（GCN）を用いたスコア付け、トラジェクトリ推定に定式化する。エンド・トゥ・エンドで学習可能なプロポーザルスコアリングと反復的グラフクラスタリングによるオクルージョンの強い耐性を実現し、MOT17とMOT20で最先端の性能を達成。それぞれIDF1が1.2ポイントおよび3.4ポイント向上した。

ABSTRACT

The recent trend in multiple object tracking (MOT) is heading towards leveraging deep learning to boost the tracking performance. However, it is not trivial to solve the data-association problem in an end-to-end fashion. In this paper, we propose a novel proposal-based learnable framework, which models MOT as a proposal generation, proposal scoring and trajectory inference paradigm on an affinity graph. This framework is similar to the two-stage object detector Faster RCNN, and can solve the MOT problem in a data-driven way. For proposal generation, we propose an iterative graph clustering method to reduce the computational cost while maintaining the quality of the generated proposals. For proposal scoring, we deploy a trainable graph-convolutional-network (GCN) to learn the structural patterns of the generated proposals and rank them according to the estimated quality scores. For trajectory inference, a simple deoverlapping strategy is adopted to generate tracking output while complying with the constraints that no detection can be assigned to more than one track. We experimentally demonstrate that the proposed method achieves a clear performance improvement in both MOTA and IDF1 with respect to previous state-of-the-art on two public benchmarks. Our code is available at https://github.com/daip13/LPC_MOT.git.

研究の動機と目的

• エンド・トゥ・エンドで学習可能なフレームワークを用いて、複数対象追跡（MOT）におけるデータアソシエーションの課題に取り組む。
• 候補トラジェクトリ内の高次構造的パターンをモデル化することで、遮蔽やごみまみれの状況におけるアイデンティティ保持を向上させる。
• プロポーザル生成の計算コストを低減しつつ、高品質なトラジェクトリプロポーザルを維持する。
• ヒューリスティックベースのアフィニティ設計を置き換え、構造的純度に基づいてプロポーザルをスコアリングする学習可能なGCNを導入する。
• プロポーザルスコアリングとデオーラップインフェレンスを統合することで、公開のMOTベンチマークで最先端の性能を達成する。

提案手法

• Faster R-CNNをインspiredとした二段階のプロポーザルベースのMOTフレームワークを提案。追跡をプロポーザル生成、スコア付け、トラジェクトリ推定に分解する。
• 計算コストを最小限に抑えるために、検出結果を候補トラジェクトリにグループ化する反復的グラフクラスタリングアルゴリズムを用いてプロポーザルを生成する。
• 構造的パターンをモデル化し、トラジェクトリの純度を推定することで、プロポーザルをスコアリングする学習可能なグラフ畳み込みネットワーク（GCN）を導入する。
• 検出が複数のトラックに割り当てられる状況を解消するため、衝突を解消するデオーラップ戦略を適用し、各検出が最大で一つのトラックにのみ割り当てられるようにする。
• ノードが検出またはトラックレットを表し、エッジが時間的領域を越えた可能な関連付けを表すアフィニティグラフを構築する。
• 各モジュールにオフザシェルコンポーネントを活用することで、モジュラーかつ拡張性の高い設計を実現する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なプロポーザルベースのフレームワークは、従来のヒューリスティックベースのMOT手法に比べ、アイデンティティ保持性と遮蔽に対する耐性で優れているか？
• RQ2 GCNに基づくスコア付け機構は、ペアワイズマッチングコストに比べて、候補トラジェクトリ内の高次構造的パターンをどれほど効果的に捉えられるか？
• RQ3 反復的グラフクラスタリングは、グリーディー法や全探索法に比べ、プロポーザル品質と計算効率のバランスをどのように改善するか？
• RQ4 プロポーザル生成モジュールとスコアリングモジュールのエンド・トゥ・エンド学習は、追跡性能をさらに向上させるか？
• RQ5 標準的なMOTベンチマークにおいて、提案フレームワークはMOTAおよびIDF1の観点から最先端の手法と比べてどのように性能を発揮するか？

主な発見

• 本手法はMOT17で59.0%のMOTAおよび66.8%のIDF1を達成し、IDF1で前回の最先端手法より1.2ポイント向上、新たな最先端を樹立した。
• MOT20では56.3%のMOTAおよび62.5%のIDF1を達成し、前回の手法よりIDF1で3.4ポイント向上した。
• プロポーザル生成に反復的グリーディクラスタリング戦略を採用した場合、単純なグリーディアプローチに比べわずかに高い性能を示し、MOTAは63.6%、IDF1は71.7%を達成した。
• GCNベースの純度ネットワークは、プロポーザル内の高次構造的パターンをモデル化することで、遮蔽に対する耐性を著しく向上させた。
• 順位付けされたプロポーザルを用いたデオーラップ戦略は最適な性能を発揮し、単純なデオーラップ手法を用いた場合、MOTAは63.9%、IDF1は71.8%を達成した。
• MOTAは同等ながらIDF1が顕著に優れていることから、同じ検出結果と後処理を用いても、MPNTrackを上回るアソシエーション精度を示した。