[論文レビュー] Lifted Disjoint Paths with Application in Multiple Object Tracking

Andrea Horňáková, Roberto Henschel+2 more|arXiv (Cornell University)|Jun 25, 2020

Video Surveillance and Tracking Methods被引用数 84

ひとこと要約

この研究は、長距離時系列相互作用を捉えるために lifted edges を用いた disjoint paths を拡張し、cutting planes を含む厳密な LP 緩和を開発し、MOT ベンチマークにおける強力なグローバル最適化性能を示します。

ABSTRACT

We present an extension to the disjoint paths problem in which additional \emph{lifted} edges are introduced to provide path connectivity priors. We call the resulting optimization problem the lifted disjoint paths problem. We show that this problem is NP-hard by reduction from integer multicommodity flow and 3-SAT. To enable practical global optimization, we propose several classes of linear inequalities that produce a high-quality LP-relaxation. Additionally, we propose efficient cutting plane algorithms for separating the proposed linear inequalities. The lifted disjoint path problem is a natural model for multiple object tracking and allows an elegant mathematical formulation for long range temporal interactions. Lifted edges help to prevent id switches and to re-identify persons. Our lifted disjoint paths tracker achieves nearly optimal assignments with respect to input detections. As a consequence, it leads on all three main benchmarks of the MOT challenge, improving significantly over state-of-the-art.

研究の動機と目的

• MOT の長距離接続性 priors を符号化するために、lifted edges を用いた disjoint paths フレームワークを拡張する。
• 非自明な多面体不等式を伴う高品質な線形計画緩和を開発する。
• lifted 制約に対する cutting planes を効率的に追加するための separation routines を提供する。
• このアプローチを複数物体追跡に適用し、MOT ベンチマークで高い性能を示す。
• 実用的な MOT 利用のための、扱いやすい二段構成のグラフ構築とエッジコスト学習パイプラインを提供する。

提案手法

• 基盤フローグラフと、G の v→…→w 経路を介して v→w の連結性を E' にエンコードする lifted graph を定義する。
• 強力な LP 緩和を得るために、線形不等式（path、path-indused cut、および lifted variants）を導出・厳密化する。
• 解法中に違反した lifted 制約を追加するための効率的な separation procedures（Algorithms 1–3）を開発する。
• tightened relaxation 上で LP ベースの分枝限定法を用いて Gurobi で ILP を解く。
• 検出とトラックレット上のグラフを二段階の手続きで構築し、視覚的・運動的手掛かり（re-id、DeepMatching、motion、spatio-temporal features）からエッジコストを学習する。

実験結果

リサーチクエスチョン

• RQ1 lifted edges は第一階モデルを超える長距離時間的連結性を表現して MOT を改善できるか？
• RQ2 新しい多面体不等式は、 lifted disjoint paths 問題に対して素朴なリフトよりも厳密な緩和をもたらすか？
• RQ3 長距離相互作用を活用して最先端 MOT トラッカーを上回る実用的なグローバル最適化アプローチは存在するか？
• RQ4 標準的な MOT ベンチマークにおける lifted disjoint paths tracker の性能は、従来法と比べてどうか？

主な発見

• lifted disjoint paths 問題は NP-hard であり、負の lifted edges のみ、または正の lifted edges のみの場合でも同様。
• 提案された lifted path および lifted path-induced cut 不等式は、非 lifted 対応よりも厳密な LP 緩和を生み出す。
• lifted 制約の separation procedures は、アクティブな base edges の数に対して線形時間で動作し、実用的な解法を可能にする。
• グローバル最適化アプローチはほぼ最適な割り当てを生み出し、主要ベンチマークで MOT の性能を大幅に向上させる。