[論文レビュー] Globally Consistent Multi-People Tracking using Motion Patterns

Andrii Maksai, Xinchao Wang+2 more|arXiv (Cornell University)|Dec 2, 2016

Video Surveillance and Tracking Methods参考文献 7被引用数 15

ひとこと要約

本稿では、トラックレットを軌道に結びつける性能を向上させるために学習された運動パターンを活用するグローバルに一貫したマルチパーソントラッキング手法を提案する。真のラベルから学習された行動パターン、あるいは反復的に自己教師ありで学習されたパターンと一致するように、グローバル最適化の目的関数を定式化することで、複数の最先端トラッカーにおいて顕著な性能向上を達成し、正確な検出が可能な条件下でも最先端の IDF₁ スコアを達成する。

ABSTRACT

Many state-of-the-art approaches to people tracking rely on detecting them in each frame independently, grouping detections into short but reliable trajectory segments, and then further grouping them into full trajectories. This grouping typically relies on imposing local smoothness constraints but almost never on enforcing more global constraints on the trajectories. In this paper, we propose an approach to imposing global consistency by first inferring behavioral patterns from the ground truth and then using them to guide the tracking algorithm. When used in conjunction with several state-of-the-art algorithms, this further increases their already good performance. Furthermore, we propose an unsupervised scheme that yields almost similar improvements without the need for ground truth.

研究の動機と目的

• 局所的な滑らかさを超えるグローバルな行動制約を組み込むことで、マルチパーソントラッキングにおけるIDスイッチと軌道断片化の問題を解決すること。
• 真の軌道から学習した運動パターンを用いて、トラックレットの関連付けをガイドする手法を開発すること。
• 真のアノテーションが不要な自己教師あり設定にこのアプローチを拡張すること。
• 長期間にわたる運動パターンを捉えることができる豊富な非局所的目的関数を用いて、グローバルに最適な軌道連結を実現すること。
• 多様なデータセットとベースライントラッカーにおいて一貫した性能向上を示すこと。

提案手法

• 本手法は、軌道と推定された運動パターンの適合性を測る目的関数を定義する。
• 学習段階では、真の軌道を用いて目的関数を最大化するような運動パターンを学習する。
• 推論段階では、学習済みのパターンがベースライントラッカーからのトラックレットの連結をガイドし、グローバルに一貫した軌道を生成する。
• 自己教師ありの反復的スキームでは、現在のパターンから軌道を計算し、その軌道集合から再びパターンを推定する操作を交互に繰り返す。
• 最適化はグローバルバッチ問題として定式化され、整数プログラミングにより解かれる。計算量は1フレームあたりの人物数に対して超線形的に増加する。
• 本手法は汎用的であり、評価で使用された線形運動パターン以外のパターン定義にも対応可能である。

実験結果

リサーチクエスチョン

• RQ1 真のラベルから学習したグローバル運動パターンは、マルチパーソントラッキングの整合性と正確性を向上させることができるか？
• RQ2 既存のトラックレットベースのトラッキングパイプラインにグローバルな行動制約を組み込むことで、どの程度の性能向上が達成できるか？
• RQ3 真のラベルが入手不可の自己教師あり設定でも、性能向上が再現可能か？
• RQ4 正確な検出が可能な条件下で、本手法は最先端のトラッカーと比較してどの程度の性能を示すか？
• RQ5 パターンに基づく最適化によるグローバルな整合性の強制に、どの程度の計算コストがかかるか？

主な発見

• 教師あり手法は、1つのデータセットを除き、すべてのデータセットで IDF₁ スコアを向上させ、全ベンチマークで一貫した平均的な向上を示した。
• 自己教師ありバージョンは、教師ありバージョンにほぼ匹敵する性能を達成し、1つのデータセットでのみ IDF₁ が 0.01 増加した。
• 真の検出が利用可能な状況では、Town で IDF₁ 0.93、ETH で 0.92、Hotel で 0.94、Station で 0.70 を達成し、すべてのベースラインを上回った。
• 同じ真の検出設定下で、MOTA は Town で 0.98、ETH で 0.94、Hotel で 0.97、Station で 0.77 を記録し、理想的な検出条件下でも優れた性能を示した。
• 本手法は合理的なスケーラビリティを備えており、混雑度が低いデータセットでは1分間の動画処理が1分未塔以内で可能で、軌道フィッティングの最適化時間も10分未塔であった。
• 最適化問題が Station データセットで最大45万変数に達する大規模データセットに対しても、計算的に実行可能であることが確認された。