[論文レビュー] Multi-camera Multi-Object Tracking

WenQian Liu, Octavia Camps+1 more|arXiv (Cornell University)|Sep 20, 2017

Video Surveillance and Tracking Methods参考文献 12被引用数 30

ひとこと要約

本稿では、外観（LOMO）と運動（IHTLSに基づくハッケルランク推定）の類似性を統合することで、トラッキングを一般化最大マルチクリーク（GMMCP）最適化問題としてモデル化するグローバルなマルチカメラマルチオブジェクトトラッキングフレームワークを提案する。EPFL TerraceおよびDuke MTMCデータセット上で評価された結果、MOTAは0.42、IDF1は55.5%を達成し、優れたオフラインパイプラインを示したが、最先端手法と比較して性能がやや劣るものの、リアルタイムへの拡張可能性を有する。

ABSTRACT

In this paper, we propose a pipeline for multi-target visual tracking under multi-camera system. For multi-camera system tracking problem, efficient data association across cameras, and at the same time, across frames becomes more important than single-camera system tracking. However, most of the multi-camera tracking algorithms emphasis on single camera across frame data association. Thus in our work, we model our tracking problem as a global graph, and adopt Generalized Maximum Multi Clique optimization problem as our core algorithm to take both across frame and across camera data correlation into account all together. Furthermore, in order to compute good similarity scores as the input of our graph model, we extract both appearance and dynamic motion similarities. For appearance feature, Local Maximal Occurrence Representation(LOMO) feature extraction algorithm for ReID is conducted. When it comes to capturing the dynamic information, we build Hankel matrix for each tracklet of target and apply rank estimation with Iterative Hankel Total Least Squares(IHTLS) algorithm to it. We evaluate our tracker on the challenging Terrace Sequences from EPFL CVLAB as well as recently published Duke MTMC dataset.

研究の動機と目的

• カメラ間およびフレーム間のデータアソシエーションを統合的にモデル化することで、マルチカメラマルチオブジェクトトラッキングの課題に取り組む。
• 重複するか非重複するカメラ視野を持つ複雑な監視シナリオにおいて、トラッキング精度を向上させる。
• 再識別と運動ダイナミクスを統合した包括的なオフラインフレームワークを構築する。
• EPFL Terrace（重複あり）およびDuke MTMC（非重複あり）を含む多様なデータセット上で評価し、汎用性を検証する。

提案手法

• トラッキング問題を、ノードが検出結果を表し、エッジが類似度スコアを表すグローバルグラフとして定式化する。
• エッジ重みを、LOMOに基づく外観特徴と、トラックレットのハッケル行列のランク推定による運動類似度の組み合わせで計算する。
• 混合整数線形計画法によりグローバル最大クリークを解くことで、カメラおよびフレーム間で一貫性のあるトラックレットを保証する。
• 2段階の類似度統合を採用：外観類似度はLOMO、運動類似度はトラックレットのハッケル行列のランク推定による。
• 最適なクリーク選択のため、Gurobiを用いて混合整数最適化問題を解く。
• 性能に与える運動と外観の影響を分析するため、外観重み（0から1）のパラメータスイープを実施する。

実験結果

リサーチクエスチョン

• RQ1 外観と運動特徴を効果的に統合することで、マルチカメラトラッキング性能をどのように向上させられるか？
• RQ2 ハッケル行列ランク推定から得られる運動類似度は、カメラ間でのトラッキングの一貫性をどの程度向上させるか？
• RQ3 GMMCPのようなグローバル最適化フレームワークは、ローカルまたは逐次的アソシエーション手法を上回る性能を発揮できるか？
• RQ4 カメラの重複度が異なるデータセット（例：EPFLとDuke MTMC）において、トラッカーの性能はどの程度か？
• RQ5 エッジ重み計算における外観と運動類似度の最適なバランスは何か？

主な発見

• EPFL Terraceシーケンスでは、MOTAが0.42に達したが、[12]が報告した最先端手法の0.7と比較して低い水準であり、改善の余地があることが示された。
• Duke MTMCデータセットでは、IDF1スコアが55.5%に達したが、CDSC（60）やBIPCC（56.2）といったトップパフォーマンス手法と比較して性能向上が限定的であった。
• 外観重みを0に設定した場合に、IDF1、IDP、IDRのスコアが最高に達した。これは、この設定下では運動類似度のみでより優れた性能が得られることを示している。
• 最も計算コストの高いステップは類似度行列の構築であり、4138秒（1時間以上）を要した。それに次いでGurobi最適化が289秒を要した。
• 定性的な結果から、カメラおよびフレーム間で一貫性のあるトラックレットが得られており、同じ色のバウンディングボックスが同一のアイデンティティを示しており、本手法が時間経過にわたるアイデンティティ維持に成功していることが確認された。
• 著者らは、GMMCP出力の不良マージと、人間の運動における類似した運動ランクによる運動の識別性の低さが、性能が最適でない主な要因であると特定した。