[論文レビュー] Energy-based Models for Video Anomaly Detection

Hung Vu, Dinh Phung+3 more|arXiv (Cornell University)|Aug 17, 2017

Anomaly Detection Techniques and Applications参考文献 53被引用数 16

ひとこと要約

本論文は、エネルギー関数に基づくモデル、特に制限ボルツマンマシン（RBMs）を用いた教師なし動画異常検出フレームワークを提案する。この手法は、ラベルなしの正常データから正常パターンを学習し、再構成誤差を用いて異常を検出する。UCSD Ped1、Ped2、Avenueといったベンチマークデータセットにおいて、従来のベースラインを上回り、SOTA（最先端）の結果に匹敵する性能を達成しており、手動での特徴工学や異常ラベルの必要がない。

ABSTRACT

Automated detection of abnormalities in data has been studied in research area in recent years because of its diverse applications in practice including video surveillance, industrial damage detection and network intrusion detection. However, building an effective anomaly detection system is a non-trivial task since it requires to tackle challenging issues of the shortage of annotated data, inability of defining anomaly objects explicitly and the expensive cost of feature engineering procedure. Unlike existing appoaches which only partially solve these problems, we develop a unique framework to cope the problems above simultaneously. Instead of hanlding with ambiguous definition of anomaly objects, we propose to work with regular patterns whose unlabeled data is abundant and usually easy to collect in practice. This allows our system to be trained completely in an unsupervised procedure and liberate us from the need for costly data annotation. By learning generative model that capture the normality distribution in data, we can isolate abnormal data points that result in low normality scores (high abnormality scores). Moreover, by leverage on the power of generative networks, i.e. energy-based models, we are also able to learn the feature representation automatically rather than replying on hand-crafted features that have been dominating anomaly detection research over many decades. We demonstrate our proposal on the specific application of video anomaly detection and the experimental results indicate that our method performs better than baselines and are comparable with state-of-the-art methods in many benchmark video anomaly detection datasets.

研究の動機と目的

• 動画異常検出におけるラベル付き異常データの不足という課題に対処するため、豊富なラベルなし正常データを活用する。
• 高価で誤りの多い手作業特徴工学に依存しないようにするため、深層生成モデルによる表現の自動学習を実現する。
• エネルギー関数に基づくモデルを用いて正常分布を統合的にモデル化し、正規性スコアが低いデータポイントを異常と特定する統一フレームワークを構築する。
• フレームレベルとピクセルレベルの再構成誤差を併用して分析することで、異常領域の局所化精度を向上させる。
• 一般向けの深層ネットワークを超えて、異常検出に特化した深層生成ネットワークの基盤を構築する。

提案手法

• フレームワークは、制限ボルツマンマシン（RBMs）をエネルギー関数に基づくモデルとして用い、ラベルなしデータから正常な動画パターンの潜在的分布を学習する。
• 異常は再構成誤差を測定することで検出される。高い誤差は、学習済みの正常分布における低尤度を示し、異常を示唆する。
• モデルは教師なしで動作し、異常ラベルを一切必要とせず、正常動画クリップのみで学習を行う。
• 特徴表現はRBMsがエンドツーエンドで学習するため、従来の手作業特徴抽出パイプラインを回避する。
• 性能評価は3つのレベルで実施される：フレームレベル、ピクセルレベル、およびデュアルレベル（フレームとピクセルのスコアを統合）。α=5%を用いた融合戦略が採用されている。
• 再構成スコアは、複数のベンチマークデータセットで定量的評価のためのAUCおよびEER指標を算出するために使用される。

実験結果

リサーチクエスチョン

• RQ1 正規データのみで学習されたエネルギー関数モデルは、異常ラベルなしに効果的に異常を検出できるか？
• RQ2 PCA、OC-SVM、GMM、オートエンコーダーといった従来手法と比較して、RBMsに基づく再構成手法は、標準的な動画異常検出ベンチマークでどの程度の性能を示すか？
• RQ3 RBMsによる教師なし表現学習は、動画フレーム内の異常領域の局所化精度をどの程度向上できるか？
• RQ4 畳み込みオートエンコーダーや深層生成モデルに比べて、より浅い生成モデル（例：RBMs）でも、最先端の手法と同等の性能を達成できるか？
• RQ5 このフレームワークを、階層的異常検出に適した深層生成ネットワーク（例：DBNsやDBMs）に拡張する可能性は何か？

主な発見

• UCSD Ped1データセットでは、提案手法のRBMsベースのアプローチは、フレームレベルでAUC 70.25%、デュアルピクセルレベルで56.08%を達成し、PCA、OC-SVM、GMM、ConvAEを上回った。
• UCSD Ped2データセットでは、フレームレベルで86.43%、デュアルピクセルレベルで78.76%のAUCを達成し、すべてのベースラインを顕著に上回った。
• Avenueデータセットでは、フレームレベルで74.88%、デュアルピクセルレベルで53.40%のAUCを達成し、多様な動画シナリオにおいて強力な性能を示した。
• 本手法は、SOTAモデルと比較して競争力のある性能を示しており、特にデュアルピクセルレベルの局所化で優れた性能を発揮しており、異常検出における空間的精度の向上を示している。
• 結果から、正規データのみで教師なしRBMsを学習しても、教師ありまたは複雑な深層学習ベースラインと同等の検出性能を得られることを示した。
• 異常尤度の代理として再構成誤差を用いるアブレーション実験は、すべての3つのデータセットで高いAUCと低いEER値を達成し、有効であることが確認された。