[論文レビュー] Anomaly Detection and Localization in Crowded Scenes by Motion-field Shape Description and Similarity-based Statistical Learning

Xinfeng Zhang, Yang Su+3 more|arXiv (Cornell University)|May 27, 2018

Anomaly Detection Techniques and Applications被引用数 12

ひとこと要約

本稿では、混雑した監視映像における非教師付き異常検出および局所化のため、動き場の形状記述子とK-NN類似度に基づく統計的学習手法を提案する。短時間の軌跡を形状コンテキストでモデル化し、K-NN類似度に基づくガウスモデルを用いて低確率イベントを検出することで、透視変形に対しても頑健な性能を発揮し、実世界のデータセットにおいて最先端の手法を上回る結果を得た。

ABSTRACT

In crowded scenes, detection and localization of abnormal behaviors is challenging in that high-density people make object segmentation and tracking extremely difficult. We associate the optical flows of multiple frames to capture short-term trajectories and introduce the histogram-based shape descriptor referred to as shape contexts to describe such short-term trajectories. Furthermore, we propose a K-NN similarity-based statistical model to detect anomalies over time and space, which is an unsupervised one-class learning algorithm requiring no clustering nor any prior assumption. Firstly, we retrieve the K-NN samples from the training set in regard to the testing sample, and then use the similarities between every pair of the K-NN samples to construct a Gaussian model. Finally, the probabilities of the similarities from the testing sample to the K-NN samples under the Gaussian model are calculated in the form of a joint probability. Abnormal events can be detected by judging whether the joint probability is below predefined thresholds in terms of time and space, separately. Such a scheme can adapt to the whole scene, since the probability computed as such is not affected by motion distortions arising from perspective distortion. We conduct experiments on real-world surveillance videos, and the results demonstrate that the proposed method can reliably detect and locate the abnormal events in the video sequences, outperforming the state-of-the-art approaches.

研究の動機と目的

• 遮蔽や高密度によるオブジェクトトラッキングの信頼性が低い混雑した監視シーンにおいて、異常行動の検出と局所化の課題に対処すること。
• プロトタイプ数の事前知識を必要とし、透視変形に敏感なクラスタリングベースの手法の限界を克服すること。
• 異常パターンに関する事前仮定なしに、クラスタリングに依存しない非教師付きワンクラス学習フレームワークを構築すること。
• 透視効果に起因する動きの歪みに対して不変な類似度に基づく確率を用いることで、シーン全体にわたり頑健な異常検出を実現すること。
• 多様な異常行動（逆方向歩行、停留、不規則な動きなど）を含む実世界の監視映像において、正確な異常局所化を達成すること。

提案手法

• 複数フレームにわたる光流を関連付けて、動く物体の短時間軌跡を動画クリップから抽出する。
• 局所的な運動パターンと空間的配置を捉える、ヒストグラムベースの形状記述子「形状コンテキスト」を用いて各軌跡を表現する。
• 各テストサンプルについて、形状コンテキストの類似度に基づき訓練データセットからのK近傍近隣（K-NN）を検索する。
• K-NNのサンプル同士の類似度のペアワイズ分布にガウス・ミックスチャネル・モデルを構築し、正常行動の分布をモデル化する。
• 学習済みのガウスモデル下で、テストサンプルとそのK-NNとの類似度の同時確率を計算し、異常度を評価する。
• 空間的および時間的しきい値と比較することで、パッチレベルでの異常検出と局所化を実現する。

実験結果

リサーチクエスチョン

• RQ1 遮蔽や高密度によるオブジェクトトラッキングの信頼性が低い混雑したシーンにおいて、異常イベントをどのように検出・局所化できるか？
• RQ2 クラスタリングフリーで非教師付きワンクラス学習手法が、プロトタイプ数の事前仮定なしに正常な運動パターンを効果的にモデル化できるか？
• RQ3 透視効果に起因する動きの歪みを、異常検出においてどのように軽減できるか？ これにより、シーンの異なる領域にわたり頑健性を確保できるか？
• RQ4 K-NN類似度に基づく統計的モデルは、従来の再構築ベースやクラスタリングベースの手法に比べて、多様な異常行動をどの程度効果的に検出できるか？
• RQ5 本手法は、アノテーションが付いていないが異常ではない奇妙な行動（例：大人が子供を通路のゲートを手伝って通す）を検出できるか？

主な発見

• Subwayデータセットにおいて、『逆方向』クラスでは100%（10/10）、『停留』クラスでは100%（9/9）、『雑多』クラスでは100%（7/7）の検出率を達成し、誤検出はわずか2件にとどまった。
• UCSDped1データセットでは、F1スコアとAUCにおいてベースライン手法を上回り、優れた一般化性能と頑健性を示した。
• アノテーションのないが奇妙な行動（例：大人が子供をゲートを通す支援、不規則なジャンプ）を効果的に検出でき、微細な異常パターンへの感受性を示した。
• 最小限の学習データで運用可能であり、クラスタリングに依存しないため、進化する運動パターンを示す動的なシーンにスケーラブルかつ適応可能である。
• K-NN類似度に基づくモデルは、カメラからの距離に関わらず一貫した性能を示し、透視歪みに対して感度が低いことを確認した。
• K-NN類似度から計算された同時確率により、空間的異常活動領域を高精度に特定するパッチレベルでの効果的な異常局所化が可能となった。