[論文レビュー] Detecting abnormal events in video using Narrowed Motion Clusters.

Radu Tudor Ionescu, Sorina Smeureanu+2 more|arXiv (Cornell University)|Jan 12, 2018

Anomaly Detection Techniques and Applications参考文献 35被引用数 5

ひとこと要約

本稿では、正常な動画からの動き特徴量において外れ値を特定するためにk-meansクラスタリングと1クラスSVMを用いる2段階の異常イベント検出フレームワークを提案する。疎なクラスタを pruning し、残りのクラスタの境界を収縮させることで、CPU上で30 FPSのリアルタイム検出を達成するとともに、4つのベンチマークデータセットで最先端の手法を上回る性能を発揮する。

ABSTRACT

We formulate the abnormal event detection problem as an outlier detection task and we propose a two-stage algorithm based on k-means clustering and one-class Support Vector Machines (SVM) to eliminate outliers. After extracting motion features from the training video containing only normal events, we apply k-means clustering to find clusters representing different types of motion. In the first stage, we consider that clusters with fewer samples (with respect to a given threshold) contain only outliers and we eliminate these clusters altogether. In the second stage, we shrink the borders of the remaining clusters by training a one-class SVM model on each cluster. To detected abnormal events in the test video, we analyze each test sample and consider its maximum normality score provided by the trained one-class SVM models, based on the intuition that a test sample can belong to only one cluster of normal motion. If the test sample does not fit well in any narrowed cluster, than it is labeled as abnormal. We also combine our approach based on motion features with a recent approach based on deep appearance features extracted with pre-trained convolutional neural networks (CNN). We combine our two-stage algorithm with the deep framework using a late fusion strategy, keeping the pipelines of the two approaches independent. We compare our method with several state-of-the-art supervised and unsupervised methods on four benchmark data sets. The empirical results indicate that our abnormal event detection framework can achieve better results in most cases, while processing the test video in real-time at 30 frames per second on CPU.

研究の動機と目的

• 訓練データに正常なイベントのみが利用可能な動画シーケンスにおける異常イベント検出の課題に対処すること。
• パイプラインの初期段階で疎で外れ値を引き起こしやすい動きクラスタをフィルタリングすることで、動きベースの異常検出のロバスト性を向上させること。
• 1クラスSVMを用いて正常な動きクラスタの意思決定境界を精緻化することで、検出精度を向上させること。
• 事前学習済みの畳み込みニューラルネットワーク（CNN）から得られる深層外観特徴と動きベースの検出を、ラテン統合により統合して性能を向上させること。
• GPU加速を必要とせず、CPU上で30 FPSのリアルタイム推論を達成すること。

提案手法

• 正常なイベントのみを含む訓練動画から抽出した動き特徴量にk-meansクラスタリングを適用し、類似した動きパターンをグループ化する。
• 事前に定義されたしきい値未満のサンプル数を有するクラスタを削除し、外れ値を表すものと仮定する。
• 残りのクラスタそれぞれに対して1クラスSVMを訓練し、境界を収縮させて正常な動きの領域をより厳密に定義する。
• テストサンプルに対して、すべての訓練済み1クラスSVMモデルにおける正常性スコアの最大値を計算し、それがどの正常クラスタにも適合するかを判定する。
• 最大スコアがしきい値を満たさない場合、テストサンプルを異常とラベル付ける。
• 動きベースのフレームワークと深層外観特徴パイプラインを、両方のストリームを独立に保ったままラテン統合により統合する。

実験結果

リサーチクエスチョン

• RQ1 疎な動きクラスタのpruningは、動画における異常イベント検出の精度を向上させ得るか？
• RQ2 1クラスSVMを用いてクラスタ境界を収縮させることで、微細な異常イベントの検出が向上するか？
• RQ3 動き特徴量と深層外観特徴量をラテン統合により統合することで、単独のモダリティを用いた場合よりも性能が向上するか？
• RQ4 提案手法は、精度を損なわず、GPUを必要とせずCPU上で30 FPSのリアルタイム推論を達成可能か？
• RQ5 標準ベンチマークにおいて、提案手法は最先端の教師ありおよび教師なし異常検出アプローチと比較してどのように差をつけるか？

主な発見

• 提案手法は、4つのベンチマークデータセットにおいて、複数の最先端の教師ありおよび教師なし手法を上回る検出性能を達成した。
• フレームワークはCPU上で30フレーム/秒のリアルタイム処理を実現しており、高い効率性を示した。
• 動き特徴量と深層外観特徴量のラテン統合により、単体で使用する場合と比較して、検出精度が向上した。
• 2段階アプローチ（クラスタのpruning → 1クラスSVMによる境界精緻化）により、外れ値を引き起こしやすいクラスタを早期に除外することで、誤検出が顕著に低減された。
• コア検出メカニズムが非教師ありであるため、未学習の異常イベントに対しても強い汎化性能を維持した。