[論文レビュー] A Novel Multi-Detector Fusion Framework for Multi-Object Tracking

Roberto Henschel, Laura Leal-Taixé+2 more|arXiv (Cornell University)|May 23, 2017

Video Surveillance and Tracking Methods参考文献 34被引用数 14

ひとこと要約

本論文は、複数の検出器と複数のフレームからの情報を統合する包括的なアプローチを可能にする、重み付きグラフラベルリング問題としてトラッキングを定式化した新規なマルチ検出器統合フレームワークを提案する。この問題は、新しいフランク＝ウォルフに基づくソルバーで解かれる。この手法により、複数の検出器と複数のフレームからの情報統合が可能となり、MOT16で最先端の性能を達成し、MOT17チャレンジで優勝を果たした。特に、遮蔽下や誤検出の多い状況でもトラッキングのロバスト性が著しく向上した。

ABSTRACT

In order to track all persons in a scene, the tracking-by-detection paradigm has proven to be a very effective approach. Yet, relying solely on a single detector is also a major limitation, as useful image information might be ignored. This work demonstrates how to incorporate several detectors into a tracking system, using a novel multi-object tracking formulation. We cast tracking as a weighted graph labeling problem, resulting in a binary quadratic program. As such problems are NP-hard, the solution can only be approximated. Based on the Frank-Wolfe algorithm, we present a new solver that is crucial to handle such difficult problems. As a result, the tracker can take information from many frames and different detectors holistically into account. When applied with head and full-body detections, the fusion helps to recover heavily occluded persons and to reduce false positives. Evaluation on pedestrian tracking is provided for multiple scenarios, showing superior results over single detector tracking and standard QP-solvers. Finally, our tracker performs state-of-the-art on the MOT16 benchmark and is the winner of the MOT17 challenge.

研究の動機と目的

• 単一検出器の限界を克服するため、複数の検出器から得られる補完的情報を活用すること。
• 重い遮蔽や誤検出が生じるような困難な状況でのトラッキング性能を向上させること。
• マルチオブジェクトトラッキングの定式化から生じるNP困難な2次整数計画問題に対する効率的なソルバーを開発すること。
• 統一されたトラッキングフレームワーク内で、複数フレームおよび複数検出器の情報を包括的に統合すること。

提案手法

• トラッキング問題を、複数フレーム間のオブジェクト関連付けを表す2次整数計画問題として重み付きグラフラベルリング問題として定式化する。
• NP困難な最適化問題の近似解を効率的に得るため、フランク＝ウォルフアルゴリズムに基づく新規なソルバーを提案する。
• 複数の検出器（例：頭部検出器と全身検出器）の検出スコアをグラフラベルリング定式化に統合することで、それらを統合する。
• 複数フレームおよび複数検出器を同時に最適化することで、長距離の時系列的推論が可能となり、より高いロバスト性が得られる。
• 最適化フレームワークにより、時間的および検出器タイプにわたる検出証拠を包括的に考慮できる。
• 本手法は、遮蔽を伴う複雑な現実世界のトラッキングシナリオに対してもスケーラブルかつ効果的であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 複数の検出器をどのように効果的に統合することで、マルチオブジェクトトラッキングの性能を向上させられるか？
• RQ2 新規な最適化ソルバーを備えたグラフベースの定式化は、困難な状況下で単一検出器トラッキングを上回ることができるか？
• RQ3 複数フレーム・複数検出器統合により、誤検出はどの程度低減され、遮蔽されたオブジェクトはどの程度回復されるか？
• RQ4 提案されたソルバーは、MOT16 や MOT17 のような標準ベンチマークで最先端の結果を達成できるか？

主な発見

• 提案されたトラッカーは、MOT16ベンチマークで最先端の性能を達成し、従来の単一検出器ベースおよび標準のQPソルバーに基づく手法を上回った。
• トラッカーはMOT17チャレンジで優勝を果たし、現実世界のマルチオブジェクトトラッキングシナリオにおける優位性を実証した。
• 頭部検出器と全身検出器の統合により、重度に遮蔽された人物の回復が著しく向上した。
• 複数検出器間の補完的検出特徴を活用することで、誤検出が低減された。
• フランク＝ウォルフに基づくソルバーにより、NP困難な2次整数計画問題の効率的近似が可能となり、リアルタイム利用に実用的であることが実証された。
• 複数フレームおよび複数検出器の情報統合の包括的アプローチにより、より一貫性があり正確なトラッキング結果が得られた。