[論文レビュー] Fusion of Head and Full-Body Detectors for Multi-Object Tracking

Roberto Henschel, Laura Leal-Taixé+2 more|arXiv (Cornell University)|May 23, 2017

Video Surveillance and Tracking Methods参考文献 63被引用数 11

ひとこと要約

本論文は、頭部検出器と全身検出器を融合することで、特に混雑した場面や隠蔽状態にあるシーンでも追跡精度を向上させる、新しいマルチオブジェクト追跡フレームワークを提案する。追跡を、改良されたフランク＝ウォルフ法で解く重み付きグラフラベルリング問題として定式化することにより、SOTAの性能を達成し、MOT16で2位、MOT17で1位を記録。MOTAの向上と誤検出および途切れトラジェクトリの削減が顕著に見られた。

ABSTRACT

In order to track all persons in a scene, the tracking-by-detection paradigm has proven to be a very effective approach. Yet, relying solely on a single detector is also a major limitation, as useful image information might be ignored. Consequently, this work demonstrates how to fuse two detectors into a tracking system. To obtain the trajectories, we propose to formulate tracking as a weighted graph labeling problem, resulting in a binary quadratic program. As such problems are NP-hard, the solution can only be approximated. Based on the Frank-Wolfe algorithm, we present a new solver that is crucial to handle such difficult problems. Evaluation on pedestrian tracking is provided for multiple scenarios, showing superior results over single detector tracking and standard QP-solvers. Finally, our tracker ranks 2nd on the MOT16 benchmark and 1st on the new MOT17 benchmark, outperforming over 90 trackers.

研究の動機と目的

• 単一検出器の追跡における限界、特に全身検出器が失敗する混雑した場面や隠蔽状態にあるシーンでの課題を解決すること。
• 頭部検出器と全身検出器からの補完的情報を活用することで、長期的なトラジェクトリの一貫性を向上させること。
• トラジェクトリの初期化に誤りを伴いやすいトラックレット生成に依存しない、高速かつ高精度なバイナリ二次計画問題（BQP）のソルバーを開発すること。
• 検出器の融合が、誤検出の低減や隠蔽された歩行者の回復を含め、特に実世界の追跡ベンチマークで顕著に性能を向上させることを示すこと。
• トラックレット初期化に依存しないで、標準ベンチマークでSOTAの性能を達成すること。

提案手法

• 全フレームにわたる検出器から人物への割り当てを同時に最適化するバイナリ二次計画問題（BQP）としてマルチオブジェクト追跡を定式化する。
• BQPの緩和版を用い、3つの主な改善を加えた修正フランク＝ウォルフ（FW）アルゴリズムで解く：正確なラインサーチ、目的関数の再定式化、階層的最適化。
• 妥当解を段階的に改善する階層的最適化スキームを導入し、収束性と離散解の品質を向上させる。
• 頭部検出器（高い正確性、隠蔽に強く）と全身検出器（ポーズの変化に強い）を融合させ、検出の信頼性を向上させる。
• トラックレットを経由しないで、直接検出結果にソルバーを適用することで、誤りが伝搬されるリスクを回避する。
• 時間的整合性を保証し、IDの入れ替えや誤検出を最小限に抑えるグラフベースのラベルリングモデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 頭部検出器と全身検出器の融合は、単一検出器システムと比較して、混雑した場面や隠蔽状態にあるシーンでの追跡性能を向上させることができるか？
• RQ2 新規のFWベースのソルバーを用いたグローバル最適化BQP定式化は、標準のQPソルバーやトラックレットベースの手法と比較して、追跡の正確性と効率性においてどのように差をつけるか？
• RQ3 検出器の融合は、実世界の追跡ベンチマークにおいて、誤検出の低減と隠蔽された歩行者の回復にどの程度寄与するか？
• RQ4 提案された階層的フランク＝ウォルフソルバーは、大規模な追跡問題において、標準の分枝限定法や基本的なFW法と比較して、より優れた解の品質とより速い収束性を達成できるか？
• RQ5 提案されたフレームワークは、トラックレット初期化に依存せず、MOT16やMOT17などの標準ベンチマークでSOTAの性能を達成できるか？

主な発見

• 提案されたトラッカーはMOT16ベンチマークで2位にランクされ、MOTAスコア47.8%を達成し、大多数の既存トラッカーを大きく上回った。
• MOT17ベンチマークでは1位にランクされ、MOTAスコア51.3%を達成し、90以上の他のトラッカーを上回り、新たなSOTAを樹立した。
• 頭部検出器と全身検出器の融合により、誤検出が約50%削減され、ほとんど追跡された（MT）トラジェクトリ数が増加し、MOTAが5ポイント以上向上した。
• 改良されたフランク＝ウォルフソルバーは、標準の分枝限定法や基本的なFW法と比較して、より良い目的関数値と追跡性能を達成した一方で、著しく高速であった。
• MOT16およびMOT17の両方で、最も少ないほとんど失われた（ML）スコアを記録し、長期的なトラジェクトリの回復能力に優れていることを示した。
• 階層的最適化スキームにより、解の品質が向上し、最適解に近づくことが多く、誤りを伴いやすいトラックレット生成を経由せずに、直接検出結果に対する最適化が可能になった。