[論文レビュー] An equalised global graphical model-based approach for multi-camera object tracking

Weihua Chen, Lijun Cao+2 more|arXiv (Cornell University)|Feb 12, 2015

Video Surveillance and Tracking Methods参考文献 47被引用数 28

ひとこと要約

本稿では、非重複マルチカメラシステムにおいて、外観特徴と運動特徴の類似度スコアを等しくすることで、単カメラ追跡（SCT）とカメラ間追跡（ICT）を統合的に最適化するグローバルなグラフィカルモデルを提案する。両ステップをバランスの取れた類似度スコアを用いた統一されたグラフに統合することで、誤一致エラーを低減し、特にSCTの性能が低い場合でも耐性を発揮し、実時間トラックレット生成に実用的なリアルタイムトレッカーを用いても、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Non-overlapping multi-camera visual object tracking typically consists of two steps: single camera object tracking and inter-camera object tracking. Most of tracking methods focus on single camera object tracking, which happens in the same scene, while for real surveillance scenes, inter-camera object tracking is needed and single camera tracking methods can not work effectively. In this paper, we try to improve the overall multi-camera object tracking performance by a global graph model with an improved similarity metric. Our method treats the similarities of single camera tracking and inter-camera tracking differently and obtains the optimization in a global graph model. The results show that our method can work better even in the condition of poor single camera object tracking.

研究の動機と目的

• 分離された単カメラモジュールとカメラ間モジュールに依存する従来の2段階マルチカメラ追跡パイプラインの脆さを解消すること。
• 弱い単カメラ追跡による誤検出や断片化したトラックレットが引き起こすカメラ間マッチングエラーを低減すること。
• 統一されたグローバルグラフモデルでSCTとICTを同時に最適化することで、全体的なマルチカメラ追跡性能を向上させること。
• 同じカメラ内リンクとカメラ間リンクの両方の類似度スコアをバランスさせるために、カメラ内およびカメラ間の関連付けの類似度を調整すること。
• 検出ベースの階層的関連付けではなく、実用的でリアルタイムなトレッカーを用いることで、現実世界の状況下で性能が不安定な単カメラ追跡でも耐性を示すことを実証すること。

提案手法

• 単カメラ追跡（SCT）とカメラ間追跡（ICT）を統合したグローバルなグラフィカルモデルを構築し、単一の最適化フレームワークに統合する。
• 最小不確実性ギャップを用いて、カメラ内およびカメラ間の観測の類似度スコアを区別・等しくする改善された類似度メトリクスを導入する。
• 等しくされた類似度メトリクスを外観特徴および運動特徴の両方に適用し、グラフ内での同じカメラ内リンクとカメラ間リンクの影響をバランスさせる。
• すべての観測（どのカメラからのものであれ）を統一された追跡問題として扱う、ジョイントデータアソシエーションフレームワークを用いてグローバルグラフを最適化する。
• 中距離トラックレットの生成にリアルタイム単一オブジェクトトレッカー（AIFトレッカー）を用いることで、実用的で効率的な展開を可能にする。
• 本手法は特徴学習に特化しているのではなくグラフモデリングに焦点を当てるため、既存の再識別特徴表現手法をフレームワークに組み込むことができる。

実験結果

リサーチクエスチョン

• RQ1 統一されたグローバルグラフモデルにより、単カメラ追跡とカメラ間追跡を同時に最適化することで、高品質な単カメラ追跡結果に依存しなくても誤差を低減できるか？
• RQ2 同じカメラ内リンクを優先するグラフを回避するために、カメラ内およびカメラ間関連付けの類似度スコアをどのようにバランスさせるか？
• RQ3 外観および運動の類似度スコアをカメラ間で等しくすることで、単カメラ追跡が信頼性が低い状況下でもカメラ間マッチング精度が向上するか？
• RQ4 検出に基づく階層的関連付けよりも計算コストの高い手法を用いずに、実際の非重複マルチカメラ監視環境で、2段階アプローチを上回る性能を発揮するか？
• RQ5 検出ベースの階層的関連付けではなく、より計算コストの低いリアルタイムトレッカーを用いても、本手法が強力な性能を維持できるか？

主な発見

• 提案された等しくされたグローバルグラフモデルにより、カメラ内およびカメラ間の類似度スコアをバランスさせることで、カメラ間追跡における誤一致エラーが顕著に低減された。
• 検出ベースの階層的手法よりも信頼性が低いトラックレットを生成するリアルタイム単一オブジェクトトレッカー（AIF）を用いても、4つのデータセットで平均MCTAが0.3405に達し、競争力のある性能を発揮した。
• CRIPAC-MCTやHfutdspmctといった複数の最先端手法を上回り、平均MCTAが0.3405（CRIPAC-MCT：0.1648、Hfutdspmct：0.0661）を記録した。
• データセット1および2（屋外シーン）では、それぞれ追跡精度が0.7967および0.7977、再現率が0.5929および0.6332を示し、厳しい条件下でも優れた性能を発揮した。
• SCT性能が低い状況下でも耐性を示し、例えばデータセット1および2では追跡精度が0.6220および0.6942に上昇したが、これは劣化したトラックレット品質にもかかわらず、ICT性能が向上したことを示している。
• データセット2では最終的なMCTAが0.4793を達成し、USC-Visionの0.6260を除けば、最終MCTA指標で上回った。ただし、後者はより洗練された検出ベースSCTモジュールを用いているため、トレッカー品質とフレームワーク効率のトレードオフが顕著に現れている。