[論文レビュー] Improvements to Frank-Wolfe optimization for multi-detector multi-object tracking.

Roberto Henschel, Laura Leal-Taixé+2 more|arXiv (Cornell University)|May 23, 2017

Data Management and Algorithms参考文献 1被引用数 36

ひとこと要約

本論文は、マルチディテクターマルチオブジェクトトラッキングの二値二次計画問題（BQP）定式化に基づくフランク＝ウォルフ法に基づくソルバを提案し、2つのディテクタを統合することで軌道推定を向上させている。この手法は最先端の性能を達成し、MOT16で2位、MOT17で1位を記録し、90個以上のトラッカーを上回った。

ABSTRACT

In order to track all persons in a scene, the tracking-by-detection paradigm has proven to be a very effective approach. Yet, relying solely on a single detector is also a major limitation, as useful image information might be ignored. Consequently, this work demonstrates how to fuse two detectors into a tracking system. To obtain the trajectories, we propose to formulate tracking as a weighted graph labeling problem, resulting in a binary quadratic program. As such problems are NP-hard, the solution can only be approximated. Based on the Frank-Wolfe algorithm, we present a new solver that is crucial to handle such difficult problems. Evaluation on pedestrian tracking is provided for multiple scenarios, showing superior results over single detector tracking and standard QP-solvers. Finally, our tracker ranks 2nd on the MOT16 benchmark and 1st on the new MOT17 benchmark, outperforming over 90 trackers.

研究の動機と目的

• 単一ディテクタトラッキングの限界を克服するため、2つのディテクタからの情報を統合して人物トラッキングを改善すること。
• マルチオブジェクトトラッキングを重み付きグラフラベルリング問題として定式化し、二値二次計画問題（BQP）を導出すること。
• NP困難なBQPを効率的に解くため、フランク＝ウォルフ法を用いた効率的なソルバを開発することで、スケーラブルかつ正確な軌道推定を可能にすること。
• 多様な歩行者トラッキングシナリオにおいてトラッカーを評価し、既存の最先端手法と比較すること。

提案手法

• トラッキング問題は、ノードが検出仮説を表し、エッジがトラックの連続性と外見的類似性を符号化する重み付きグラフ上の二値二次計画問題（BQP）として定式化される。
• フランク＝ウォルフ法をBQPを解くために適応し、実行可能集合内で最も有望な方向を繰り返し選択することで、局所最適解への収束を保証する。
• 畳み込みニューラルネットワーク（CNN）ベースおよびHOGベースの2つのディテクタを統合することで、多様なシーンにおいて特徴表現を豊かにし、検出の信頼性を向上させる。
• 最適化中に実行可能性和を維持し収束を加速するために、グリーディラインサーチとアクティブセット戦略を用いる。
• 外見的および運動的制約をグラフの重みに組み込むことで、軌道形成を支援する。

実験結果

リサーチクエスチョン

• RQ1 2つの補完的ディテクタを統合することで、単一ディテクタ手法に比べてトラッキング性能が向上するか？
• RQ2 NP困難なBQP定式化に対するフランク＝ウォルフ法の有効性はいかほどか？
• RQ3 提案手法のソルバは、複雑なトラッキングシナリオにおいて、標準的なQPソルバーよりも優れた正確性と効率性を達成できるか？
• RQ4 この手法は多様な歩行者トラッキングベンチマークにどの程度一般化可能か？

主な発見

• 提案されたトラッカーは、MOT16ベンチマークで2位を達成し、多数の既存トラッカーを上回った。
• MOT17ベンチマークでは、1位という最高順位を記録し、90以上の他のトラッカーを上回った。
• 2つのディテクタの統合により、隠蔽や混雑したシーンなど困難なシナリオにおけるロバスト性が向上した。
• フランク＝ウォルフに基づくソルバは、大規模なトラッキングインスタンスにおいて、標準的なQPソルバーよりも優れた収束性とスケーラビリティを示した。