[論文レビュー] Online Multi-Object Tracking and Segmentation with GMPHD Filter and Simple Affinity Fusion

Young-Min Song, Moongu Jeon|arXiv (Cornell University)|Aug 31, 2020

Video Surveillance and Tracking Methods参考文献 45被引用数 8

ひとこと要約

本稿では、ガウス混合確率仮説密度（GMPHD）フィルタ、階層的データアソシエーション（HDA）、マスクベースのアフィニティフェージョン（MAF）を用いた、完全にオンラインなマルチオブジェクトトラッキングおよびインスタンスセグメンテーション（MOTS）手法を提案する。スコアレベル正規化を用いた運動および外見アフィニティの統合と、マスクIoUに基づくマージを適用することで、最小限のハイパーパramータチューニングとCPUオンリーパラレル実行で、最先端のMOTS性能を達成する。

ABSTRACT

In this paper, we propose a highly practical fully online multi-object tracking and segmentation (MOTS) method that uses instance segmentation results as an input. The proposed method is based on the Gaussian mixture probability hypothesis density (GMPHD) filter, a hierarchical data association (HDA), and a mask-based affinity fusion (MAF) model to achieve high-performance online tracking. The HDA consists of two associations: segment-to-track and track-to-track associations. One affinity, for position and motion, is computed by using the GMPHD filter, and the other affinity, for appearance is computed by using the responses from a single object tracker such as a kernalized correlation filter. These two affinities are simply fused by using a score-level fusion method such as min-max normalization referred to as MAF. In addition, to reduce the number of false positive segments, we adopt mask IoU-based merging (mask merging). The proposed MOTS framework with the key modules: HDA, MAF, and mask merging, is easily extensible to simultaneously track multiple types of objects with CPU only execution in parallel processing. In addition, the developed framework only requires simple parameter tuning unlike many existing MOTS methods that need intensive hyperparameter optimization. In the experiments on the two popular MOTS datasets, the key modules show some improvements. For instance, ID-switch decreases by more than half compared to a baseline method in the training sets. In conclusion, our tracker achieves state-of-the-art MOTS performance in the test sets.

研究の動機と目的

• リアルタイムで複数のオブジェクトを効率的にトラッキングおよびセグメンテーションする完全にオンラインなMOTSシステムの開発。
• 多くの既存のMOTS手法が直面する、膨大なハイパーパramータチューニングに依存しないようにすること。
• 運動および外見アフィニティを効果的に統合することで、トラッキング精度を向上させること。
• マスクIoUに基づくマージを用いて、誤検出セグメンテーションを最小限に抑えること。
• 実用的デプロイメントを可能にするために、並列処理が可能なCPUオンリー実行を可能にすること。

提案手法

• 本手法は、オブジェクト状態をモデル化し、事後密度を推定するためにガウス混合確率仮説密度（GMPHD）フィルタを採用する。
• 階層的データアソシエーション（HDA）は、2段階のアソシエーションを実行する：マスクからトラックへのアソシエーション、およびトラックからトラックへのアソシエーション。運動および外見アフィニティを用いる。
• 運動アフィニティと外見アフィニティは、それぞれGMPHDフィルタおよびカーネル化された相関フィルタトラッカーを用いて計算される。
• マスクベースのアフィニティフェージョン（MAF）は、スコアレベル正規化（例：min-max）を用いて2つのアフィニティを統合し、トラッキングのロバスト性を向上させる。
• マスクIoUに基づくマージは、重複するまたは非常に類似したマスク予測を統合することで、誤検出セグメンテーションを低減する。
• 本フレームワークは、複数のオブジェクトカテゴリのトラッキングに対応できる拡張性を持ち、CPU上で並列処理をサポートする。

実験結果

リサーチクエスチョン

• RQ1 完全にオンラインなMOTSシステムは、最小限のハイパーパramータチューニングで高い性能を達成できるか？
• RQ2 運動および外見アフィニティを効果的に統合することで、トラッキング精度がどの程度向上するか？
• RQ3 マスクIoUに基づくマージは、誤検出セグメンテーション予測を顕著に低減できるか？
• RQ4 HDAフレームワークは、複雑なトラッキングシナリオにおいて、標準的なアソシエーション手法を上回る性能を示すか？
• RQ5 並列実行において、CPUのみの処理で本システムは高い性能を維持できるか？

主な発見

• 提案手法は、トレーニングセットにおいてベースラインと比較してIDスイッチエラーを50％以上削減した。
• 2つの代表的なMOTSデータセットにおいて、テストセットで最先端の性能を達成した。
• スコアレベル統合を用いたMAFの導入により、運動および外見の手がかりのバランスを取ることで、トラッキングのロバスト性が向上した。
• マスクIoUに基づくマージは、誤検出セグメンテーションを効果的に低減し、セグメンテーション精度を向上させた。
• 多くの既存のMOTS手法とは異なり、単純なパrameterチューニングでのみシステムが動作する。
• フレームワークは並列処理が可能なCPUオンリー実行をサポートしており、実世界へのデプロイメントに実用的である。