[論文レビュー] Video Anomaly Detection and Localization via Gaussian Mixture Fully Convolutional Variational Autoencoder

Yaxiang Fan, Gongjian Wen+3 more|arXiv (Cornell University)|May 29, 2018

Anomaly Detection Techniques and Applications参考文献 36被引用数 39

ひとこと要約

本論文は、正常なトレーニングサンプルのみを用いて、動画の異常検出および局所化を実現する、新規のエンド・ツー・エンドで部分的に教師ありの深層学習フレームワークを提案する。空間的保存型エンコーダ・デコーダ構造を有するガウス混合完全畝込み変分オートエンコーダ（GM-FCVAE）を採用し、正常な動画パターンをガウス分布の混合としてモデル化する。また、成分確率に基づくサンプルエネルギースコアを用いて異常を検出する。本手法は、UCSDおよびAvenueデータセットで最先端の性能を達成する。

ABSTRACT

We present a novel end-to-end partially supervised deep learning approach for video anomaly detection and localization using only normal samples. The insight that motivates this study is that the normal samples can be associated with at least one Gaussian component of a Gaussian Mixture Model (GMM), while anomalies either do not belong to any Gaussian component. The method is based on Gaussian Mixture Variational Autoencoder, which can learn feature representations of the normal samples as a Gaussian Mixture Model trained using deep learning. A Fully Convolutional Network (FCN) that does not contain a fully-connected layer is employed for the encoder-decoder structure to preserve relative spatial coordinates between the input image and the output feature map. Based on the joint probabilities of each of the Gaussian mixture components, we introduce a sample energy based method to score the anomaly of image test patches. A two-stream network framework is employed to combine the appearance and motion anomalies, using RGB frames for the former and dynamic flow images, for the latter. We test our approach on two popular benchmarks (UCSD Dataset and Avenue Dataset). The experimental results verify the superiority of our method compared to the state of the arts.

研究の動機と目的

• 正常なトレーニングサンプルのみを要件とするエンド・ツー・エンドの深層学習手法を、動画の異常検出および局所化のために開発すること。
• 変分オートエンコーディングを用い、完全畝込みアーキテクチャを採用することで、正常な動画パターンをガウス成分の混合としてモデル化すること。
• 完全畝込みエンコーダ・デコーダを用いて特徴マップ間の空間座標を保存することで、正確な異常局所化を可能にすること。
• RGB画像とオプティカルフロー画像を入力とすることで、外見と動きの両方の特徴を二重ストリームネットワークで統合すること。
• 最小限の教師信号で、標準ベンチマークにおいて優れた性能を達成すること。

提案手法

• ガウス混合変分オートエンコーダ（GM-VAE）を用いて、正常サンプルの特徴表現をガウス分布の混合として学習する。
• 完全畝込みネットワーク（FCN）を用い、全結合層を排除することで、入力と出力の特徴マップ間の空間情報を保持する。
• 各特徴マップのパッチごとに、ガウス混合成分の結合確率を推定し、異常スコアを計算する。
• エネルギーベースのスコアリング手法を導入し、結合確率が低いほど異常度が高くなるように定義する。
• 二重ストリームネットワークアーキテクチャを用い、RGBフレームからの外見特徴と、オプティカルフロー画像からの動き特徴を統合する。
• 本フレームワークは、正常な動画クリップのみを用いてエンド・ツー・エンドに訓練され、教師なしの異常検出が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、正常なサンプルのみを用いて、正常な動画パターンの分布を効果的に学習できるか？
• RQ2 完全畝込みアーキテクチャは、正確な異常局所化を実現するために、空間的精度を保持できるか？
• RQ3 二重ストリームネットワークによる外見と動きの特徴統合は、検出性能を向上させるか？
• RQ4 ガウス混合成分確率に基づくエネルギースコアは、異常を効果的に同定できるか？
• RQ5 提案手法であるGM-FCVAEは、標準的な動画異常検出ベンチマークにおいて、最先端の手法と比較してどのように優れているか？

主な発見

• 提案手法のGM-FCVAEは、UCSD Pedestrian Datasetで最先端の性能を達成し、異常検出および局所化の両面で先行手法を上回っている。
• Avenue Datasetでは、既存のアプローチを上回る高いF1スコアを達成しており、複雑なシーンにおける優れた汎化性能を示している。
• アブレーションスタディにより、完全畝込み設計が空間座標を保存することで、局所化精度が顕著に向上することが確認された。
• 外見と動きの特徴を統合する二重ストリームの融合は、単一ストリームベースラインと比較して顕著な性能向上をもたらした。
• エネルギーベースのスコアリング機構は、特にごみや動的な環境においても、高い精度で異常を同定できた。
• 本モデルは、混雑したシーンや照明条件の変化がある多様な動画シナリオに対しても、良好な汎化性能を示した。