[論文レビュー] Detection of Anomalous Crowd Behavior Using Spatio-Temporal Multiresolution Model and Kronecker Sum Decompositions

Kristjan Greenewald, Alfred O. Hero|arXiv (Cornell University)|Jan 14, 2014

Anomaly Detection Techniques and Applications参考文献 26被引用数 6

ひとこと要約

本稿では、低サンプル分散推定を用いて動画内の異常な群衆行動を検出するため、時空間的マルチスケールモデルとクラメール・サム分解を組み合わせたモデルを提案する。ピクセル分散をクラメール積の和として表現し、スパースなマルチスケールフレームワークを統合することで、ミネソタ大学の群衆異常データセットにおいて、AUCスコア最大0.9995を達成し、最先端の異常検出性能を実現した。

ABSTRACT

In this work we consider the problem of detecting anomalous spatio-temporal behavior in videos. Our approach is to learn the normative multiframe pixel joint distribution and detect deviations from it using a likelihood based approach. Due to the extreme lack of available training samples relative to the dimension of the distribution, we use a mean and covariance approach and consider methods of learning the spatio-temporal covariance in the low-sample regime. Our approach is to estimate the covariance using parameter reduction and sparse models. The first method considered is the representation of the covariance as a sum of Kronecker products as in (Greenewald et al 2013), which is found to be an accurate approximation in this setting. We propose learning algorithms relevant to our problem. We then consider the sparse multiresolution model of (Choi et al 2010) and apply the Kronecker product methods to it for further parameter reduction, as well as introducing modifications for enhanced efficiency and greater applicability to spatio-temporal covariance matrices. We apply our methods to the detection of crowd behavior anomalies in the University of Minnesota crowd anomaly dataset, and achieve competitive results.

研究の動機と目的

• 限られた学習データにおける群衆動画の異常な時空間的行動を検出する課題に対処すること。
• 生成的統計的手法を用いて、複数の動画フレームにわたるピクセル強度の連合分布をモデル化すること。
• 低サンプル環境下での時空間的共分散推定におけるパラメータ数を削減し、学習の可能性を高めること。
• トラッキング抽出に依存せずに、個々の人物から全体の群衆まで、複数スケールでの異常検出を可能にすること。
• 構造的共分散モデリングとマルチスケール表現を統合することで、検出性能と局所化精度を向上させること。

提案手法

• 本手法は、短時間の期間にわたり定常性を仮定し、マルチフレーム動画パッチの平均と共分散のみを用いて、時空間的ピクセル分布をモデル化する。
• 時空間的共分散行列を、より小さな空間的および時間的共分散行列のクラメール積の和として表現することで、パラメータ数を顕著に削減する。
• 動画データへの適用性と効率性を高めるために、クラメール積の和モデル用に変更を加えた学習アルゴリズムを提案する。
• 階層的な空間的および時間的スケールでの解析を可能にする、スパースなマルチスケールツリーに基づくモデルを統合する。
• マルチスケールフレームワーク内にクラメール分解を適用することで、さらにパラメータ数を削減し、モデルの表現力も向上させる。
• 多変量正規分布仮定の下で、マハラノビス距離（負の対数尤度）を用いて異常検出を実行する。

実験結果

リサーチクエスチョン

• RQ1 限られた学習データで、低サンプルの時空間的共分散モデルを、群衆動画の異常検出に有効に学習できるか？
• RQ2 共分散行列をクラメール積の和として表現することで、限られた学習データでも正確かつ効率的な推定が可能になるか？
• RQ3 クラメール分解を組み込んだマルチスケールモデルは、検出性能とスケーラビリティを向上させられるか？
• RQ4 複数フレームにわたる時間的情報を統合することで、異常検出の精度が向上するか？
• RQ5 本手法は、群衆内の個々の人物やグループレベルでの異常行動の局所化が可能か？

主な発見

• 8フレーム共分散と3項クラメール・サムモデルを用いて、ミネソタ大学の群衆異常データセット全体でAUC 0.9995を達成した。
• クラメールベースの手法は、トーペリッツ構造を施した正則化されたサンプル共分散（AUC 0.9989）を上回った。
• マルチフレーム共分散（8フレーム）は、単一フレーム共分散を顕著に上回り、一部の設定ではAUCが最大0.011向上した。
• 本手法は、走り始めた人物のような異常な個人の行動を正しく局所化した一方で、歩行する人物は正しく除外した。
• マルチスケールモデリングにおける非長方形のツリー・グリッドの使用により、マラソンのような安定したオプティカルフローを示す動画で、低ランク構造が自然に出現した。
• マラソン動画のクリップを逆再生した場合、異常として正しく同定された。これは、モデルが時間的構造に敏感であることを示している。