[論文レビュー] Efficient Global Multi-object Tracking Under Minimum-cost Circulation Framework

Congchao Wang, Yizhi Wang+1 more|arXiv (Cornell University)|Nov 2, 2019

Video Surveillance and Tracking Methods参考文献 40被引用数 4

ひとこと要約

本稿では、反復的なフロー量探索を経由せずに、グローバルなマルチオブジェクトトラッキングのデータアソシエーションを直接解く最小コスト循環フレームワークCINDAを提案する。最先端手法と比較して最大1,192倍の高速化を達成しながら最適解を維持する。ユニット容量頂点構造を活用することで、理論的・実用的複雑度を低減し、長時間の時間的シーケンスを持つ大規模データセットに対しても、効率的かつグローバルに最適なトラッキングを実現する。

ABSTRACT

We developed a minimum-cost circulation framework for solving the global data association problem, which plays a key role in the tracking-by-detection paradigm of multi-object tracking. The global data association problem was extensively studied under the minimum-cost flow framework, which is theoretically attractive as being flexible and globally solvable. However, the high computational burden has been a long-standing obstacle to its wide adoption in practice. While enjoying the same theoretical advantages and maintaining the same optimal solution as the minimum-cost flow framework, our new framework has a better theoretical complexity bound and leads to orders of practical efficiency improvement. This new framework is motivated by the observation that minimum-cost flow only partially models the data association problem and must be accompanied by an additional and time-consuming searching scheme to determine the optimal object number. By employing a minimum-cost circulation framework, we eliminate the searching step and naturally integrate the number of objects into the optimization problem. By exploring the special property of the associated graph, that is, an overwhelming majority of the vertices are with unit capacity, we designed an implementation of the framework and proved it has the best theoretical complexity so far for the global data association problem. We evaluated our method with 40 experiments on five MOT benchmark datasets. Our method was always the most efficient and averagely 53 to 1,192 times faster than the three state-of-the-art methods. When our method served as a sub-module for global data association methods using higher-order constraints, similar efficiency improvement was attained. We further illustrated through several case studies how the improved computational efficiency enables more sophisticated tracking models and yields better tracking accuracy.

研究の動機と目的

• マルチオブジェクトトラッキング（MOT）における最小コストフローに基づくグローバルデータアソシエーションの高い計算コストが、長時間シーケンスへのスケーラビリティを制限する問題に対処すること。
• 既存の最小コストフロー手法における反復的フロー量探索の必要性を排除し、オブジェクト数を最適化に直接統合すること。
• MOTにおけるグローバルデータアソシエーションのための、理論的・実用的により効率的なフレームワークを構築すること。
• 計算オーバーヘッドを著しく低減することで、高次トラッキングモデルや反復的リファインメントの利用を可能にすること。

提案手法

• マップ推定に基づくデータアソシエーション問題を、最小コストフローではなく最小コスト循環問題として定式化することで、オブジェクト数を最適化に自然に組み込む。
• アソシエーショングラフの大多数の頂点がユニット容量を持つという構造的性質を活用し、理論的複雑度を向上させた効率的なアルゴリズムを設計する。
• ユニット容量頂点を活用する専用アルゴリズムを実装し、計算コストを低減することで、この問題に対する最良の理論的複雑度バウンドを達成する。
• 循環に基づく定式化により、事前にオブジェクト数を指定する必要がなくなるため、時間のかかる探索手順を排除する。
• ソースおよびシンクノードが検出結果に接続され、エッジがフレーム間の関連付けを表すネットワークフロー・モデルを採用し、コストは検出結果の類似度に基づく。
• ユニット容量構造に特化した最短経路およびデュアル上昇技術を適用し、高速な収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 最小コスト循環フレームワークは、理論的複雑度および実用的効率の両面で、最小コストフローを上回ることができるか？
• RQ2 反復的フロー量探索ステップの排除が、データアソシエーションにおける計算効率を著しく向上させるか？
• RQ3 提案フレームワークは、長時間シーケンスおよび高密度検出を有する大規模MOTデータセットにスケーリング可能か？
• RQ4 向上した効率は、より洗練されたトラッキングモデルにどの程度寄与するか？
• RQ5 計算コストが著しく増大することなく、類似度スコアの反復的リファインメントをサポートできるか？

主な発見

• CINDAは、5つのMOTベンチマークで40回の実験を実施した結果、3つの最先端手法と比較して53〜1,192倍の高速化を達成した。
• すべての実験でベースラインを一貫して上回り、強固でスケーラブルな効率性を示した。
• 理論的解析により、CINDAがグローバルデータアソシエーション問題において、現在知られている最良の計算複雑度バウンドを達成することが示された。
• フレームワークにより、従来は計算コストのため実行不可能だった高次トラッキングモデルや反復的類似度リファインメントの利用が可能になった。
• 事例研究では、向上した効率のおかげで、より長い時間的コンテキストやより複雑なモデルを活用することで、トラッキング精度が向上した。
• ソースコードはPythonおよびMATLABインターフェースを備えて公開され、採用およびさらなる研究を促進している。