[論文レビュー] POI: Multiple Object Tracking with High Performance Detection and Appearance Feature

Fengwei Yu, Wenbo Li+4 more|arXiv (Cornell University)|Oct 19, 2016

Video Surveillance and Tracking Methods参考文献 10被引用数 4

ひとこと要約

本論文は、微調整されたFaster R-CNN検出器と深層学習ベースの128次元外見特徴ネットワークを活用する、高性能な複数対象追跡フレームワークPOIを提案する。MOT16ベンチマークにおいて、オンライン設定で66.1%、オフライン設定で68.2%の最先端のMOTAスコアを達成した。本手法は、優れた検出性能と学習された外見特徴が、単純なオンライントラッカー構造でさえも、従来の手作業特徴よりも顕著に優れた性能を発揮することを示している。

ABSTRACT

Detection and learning based appearance feature play the central role in data association based multiple object tracking (MOT), but most recent MOT works usually ignore them and only focus on the hand-crafted feature and association algorithms. In this paper, we explore the high-performance detection and deep learning based appearance feature, and show that they lead to significantly better MOT results in both online and offline setting. We make our detection and appearance feature publicly available. In the following part, we first summarize the detection and appearance feature, and then introduce our tracker named Person of Interest (POI), which has both online and offline version.

研究の動機と目的

• 高精度な物体検出と深層外見特徴を活用することで、手作業特徴に依存せず、複数対象追跡（MOT）性能を向上させること。
• 高品質な検出と外見特徴を組み合わせた場合、単純なオンライントラッカーでも最先端の追跡性能を達成できるかどうかを調査すること。
• 高品質な検出と外見特徴を用いることで、オンラインとオフライントラッカーの性能差が縮小するかどうかを検証すること。
• 今後のMOT研究の便宜を図るため、高品質な検出モデルと深層外見特徴ネットワークを公開すること。

提案手法

• マルチスケール学習とスキッププーリングを用いて、ImageNet、ETHZ、Caltechおよび自ら収集した監視映像データセットの組み合わせ上で、Faster R-CNN検出器を微調整し、検出精度を向上させる。
• GoogLeNetを模倣したCNNを訓練し、人物クロップから128次元の外見特徴を抽出する。類似性の強化とクラス内コンパクト性の向上を目的に、ジョイントソフトマックス損失とトリプレット損失を併用する。
• オンライントラッカーは、運動予測にカルマンフィルタを、データ連携にKuhn-Munkresアルゴリズムを用い、外見、運動、形状の類似度を統合して最終的な類似度スコアを算出する。
• 類似度は、コサイン距離（外見）、正規化位置誤差の指数的減衰（運動）、正規化されたサイズ差（形状）の積として計算され、学習可能な重みが付与される。
• 2段階のトラッキング品質しきい値設定機構を導入し、高品質および低品質のトラッケットレットを分離することで、連携精度を向上させ、誤検出を低減する。
• スケールに適応する戦略として、しきい値τsとτrを導入し、大型の対象を処理する。これにより、過大な検出に対する信頼性の低い運動および滑らかさの類似度を抑制する。

実験結果

リサーチクエスチョン

• RQ1 高パフォーマンスな検出と深層外見特徴は、オンラインおよびオフライン両設定においてMOT性能を顕著に向上させることができるか？
• RQ2 学習された外見特徴を用いることで、複雑なオフライン追跡パイプラインの必要性がなくなり、オンラインとオフライントラッカーの性能差が縮小するか？
• RQ3 検出品質と外見特徴品質が、MOTA、IDS、FPといった主要なMOT指標に個別および統合的に与える影響は何か？
• RQ4 対象サイズのスケール変動が追跡性能に与える影響はどの程度で、適応的類似度重み付けによってこれを緩和できるか？
• RQ5 高品質な検出と深層外見特徴を備えた単純なオンライントラッカーが、最先端の性能を達成できるか？

主な発見

• 提案された検出器により、誤検出と誤検出の合計（FP+FN）がDPMv5の91,192から46,587にまで低下し、検出品質が顕著に向上した。
• オンライントラッカーはMOT16テストセットでMOTA 66.1%を達成し、最先端手法KFILDAwSDP（55.2%）およびMCMOT-HDM（62.4%）を上回った。
• オフライントラッカーはMOTA 68.2%を達成し、MOT16ベンチマークで新たな最先端記録を樹立した。また、全手法中最も低いFN（45,605）を記録した。
• 提案された検出器と深層外見特徴の組み合わせにより、トレーニングセットでIDSが784（DPMv5 + 本特徴）から716に、FMが2,697から1,973に減少した。
• 提案された検出器と特徴を備えたオンライントラッカーは、トレーニングセットでMOTA 65.2%を達成し、ベースライン（29.4%）を著しく上回り、優れた一般化性能を示した。
• アブレーションスタディの結果、検出と外見特徴の品質の両方が重要であることが確認された。提案された検出器のみ、または特徴のみを用いると最適でない結果となるが、両者の組み合わせにより最先端性能が達成された。