[論文レビュー] A Multi-cut Formulation for Joint Segmentation and Tracking of Multiple Objects

Margret Keuper, Siyu Tang+4 more|arXiv (Cornell University)|Jul 21, 2016

Video Surveillance and Tracking Methods参考文献 45被引用数 72

ひとこと要約

本論文は、点の軌跡と物体検出結果を1つのグラフィカルモデルに統合することで、運動セグメンテーションとマルチターゲットトラッキングを統合的に解く包括的なマルチカット定式化を提案する。この統合グラフ上で最小コストマルチカットを最適化することにより、FBMS59の運動セグメンテーションベンチマークで最先端の性能を達成し、2D MOT 2015のトラッキングベンチマークでも競争力ある結果を示した。低レベルの運動ヒントと高レベルの検出事前知識の相互監視により、セグメンテーションの正確性とトラッキングの整合性が向上した。

ABSTRACT

Recently, Minimum Cost Multicut Formulations have been proposed and proven to be successful in both motion trajectory segmentation and multi-target tracking scenarios. Both tasks benefit from decomposing a graphical model into an optimal number of connected components based on attractive and repulsive pairwise terms. The two tasks are formulated on different levels of granularity and, accordingly, leverage mostly local information for motion segmentation and mostly high-level information for multi-target tracking. In this paper we argue that point trajectories and their local relationships can contribute to the high-level task of multi-target tracking and also argue that high-level cues from object detection and tracking are helpful to solve motion segmentation. We propose a joint graphical model for point trajectories and object detections whose Multicuts are solutions to motion segmentation {\it and} multi-target tracking problems at once. Results on the FBMS59 motion segmentation benchmark as well as on pedestrian tracking sequences from the 2D MOT 2015 benchmark demonstrate the promise of this joint approach.

研究の動機と目的

• 運動セグメンテーションとマルチターゲットトラッキングを別々のタスクとして扱う際の限界を是正し、低レベルの運動ヒントと高レベルの検出事前知識を統合すること。
• 点の軌跡と物体検出結果の間での相互監視を活用することで、トラッキングのロバスト性とセグメンテーションの正確性を向上させること。
• 両タスクを1つのマルチカット最適化フレームワークに統一し、一貫性のあるIDラベル付けと正確な物体位置特定を可能にすること。
• 運動セグメンテーションとマルチターゲットトラッキングの両面で、タスク特化型の独立モデルよりも統合モデルが優れていることを実証すること。

提案手法

• 点の軌跡と物体検出候補をノードとして含むグラフに統合されたグラフィカルモデルを定式化する。
• 深層マッチング特徴を用いて、検出ノード間のペairwiseコストを定義し、オーバーラップ率（IoU）と信頼度スコアを含む。
• 学習されたテンプレートベースの類似度測定を用いて、検出ノードと軌跡ノード間のコストを計算する。
• グラフを連結成分に分割する最小コストマルチカット最適化を適用し、個別の物体を表す。
• NMSによる抑制を補償するため、検出-軌跡リンクの重みにヒューリスティック要因（20）を適用する。
• 得られたマルチカット分割を用いて、同時に運動セグメンテーションとIDを一貫させるトラッキング軌跡を出力する。

実験結果

リサーチクエスチョン

• RQ1 部分的遮蔽のような困難な状況下でも、低レベルの運動軌跡が高レベルのマルチターゲットトラッキング性能を向上させられるか？
• RQ2 高レベルの検出とトラッキング事前知識は、一貫して動く物体やアーティキュレートされた物体のセグメンテーション精度を向上させられるか？
• RQ3 統合的マルチカット定式化は、運動セグメンテーションとマルチターゲットトラッキングのための別々のモデルを上回る性能を発揮するか？
• RQ4 軌跡と検出結果の統合モデリングは、標準ベンチマークにおけるMOTAやID F1といったトラッキング指標にどのように影響を与えるか？

主な発見

• 提案されたJointMulticutモデルは、FBMS59の運動セグメンテーションベンチマークで91.3%のMOTAを達成し、以前の最先端技術を上回った。
• 2D MOT 2015ベンチマークでは71.9%のMOTAを達成し、MOTAの面で先行手法を上回り、より高い誤検出数にもかかわらず誤検出数を低減した。
• 統合モデルは、部分的および完全な遮蔽時においても、運動軌跡の整合性を活用してトラッキングの再現率を向上させた。
• TUD-crossingシーケンスにおける定性的な結果は、一貫性のあるトラッキングと正確なセグメンテーションを示しており、適切に局所化されたボクシングボックスと整合性のある軌跡クラスタリングが得られた。
• 直接的にマルチカット目的関数を最適化することで、非最大抑制（NMS）などの後処理ステップの必要性が削減された。