[論文レビュー] Detection of Unknown Anomalies in Streaming Videos with Generative Energy-based Boltzmann Models

Hung Vu, Tu Dinh Nguyen+1 more|arXiv (Cornell University)|May 3, 2018

Anomaly Detection Techniques and Applications参考文献 45被引用数 5

ひとこと要約

本論文は、原始的な動画ピクセルから直接階層的表現を学習するため、制限付きおよびディープボルツマンマシンを用いた、教師なし異常検出フレームワーク、エネルギーベース異常検出器（EAD）を提案する。これにより、手作業で特徴を設計する必要なく、エンド・ツー・エンドの異常検出が可能となる。本手法は再構成誤差を活用し、DBMベースのモデルでシーンのクラスタリングと再構成を同時に実行できることで、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Abnormal event detection is one of the important objectives in research and practical applications of video surveillance. However, there are still three challenging problems for most anomaly detection systems in practical setting: limited labeled data, ambiguous definition of "abnormal" and expensive feature engineering steps. This paper introduces a unified detection framework to handle these challenges using energy-based models, which are powerful tools for unsupervised representation learning. Our proposed models are firstly trained on unlabeled raw pixels of image frames from an input video rather than hand-crafted visual features; and then identify the locations of abnormal objects based on the errors between the input video and its reconstruction produced by the models. To handle video stream, we develop an online version of our framework, wherein the model parameters are updated incrementally with the image frames arriving on the fly. Our experiments show that our detectors, using Restricted Boltzmann Machines (RBMs) and Deep Boltzmann Machines (DBMs) as core modules, achieve superior anomaly detection performance to unsupervised baselines and obtain accuracy comparable with the state-of-the-art approaches when evaluating at the pixel-level. More importantly, we discover that our system trained with DBMs is able to simultaneously perform scene clustering and scene reconstruction. This capacity not only distinguishes our method from other existing detectors but also offers a unique tool to investigate and understand how the model works.

研究の動機と目的

• 動画異常検出におけるラベル付きデータの不足という課題に対処するため、教師なし学習フレームワークを開発すること。
• 『異常』イベントの定義に曖昧さがあるのを克服するため、データの規則性をモデル化し、再構成誤差を介して逸脱を検出すること。
• 高価でタスク特化された手作業特徴量に依存しないように、原始ピクセルデータから直接表現を学習すること。
• 新しい動画フレームがリアルタイムで到着するのを受けて、モデルパラメータを段階的に更新するオンラインでインクリメンタルな学習バージョンを設計することで、ストリーミング動画におけるリアルタイム異常検出を可能にすること。
• クラスタリングと再構成層を深層アーキテクチャで結びつけることで、モデルの挙動に関する可視化デバッグと洞察を提供し、モデルの解釈可能性を高めること。

提案手法

• 未ラベルの原始動画フレームを用いて、制限付きボルツマンマシン（RBMs）およびディープボルツマンマシン（DBMs）を学習させ、階層的特徴表現を学習する。
• 入力フレームとその再構成フレームの間の再構成誤差を異常スコアとして用い、高い誤差領域を異常領域として特定する。
• 新しい動画フレームがリアルタイムで到着するのを受けて、モデルパラメータを段階的に更新するオンライン学習バージョンを実装する。
• 複数スケールの特徴抽出を実現するため、動画フレームをリスケーリングし、パッチに分割する。
• DBMのクラスタリング層と再構成層の間で重み行列を共有することで、シーンのクラスタリングと再構成忠実度の整合性を保証する。
• 層間の活性化パターンを可視化することで、モデルの意思決定を解釈し、誤分類のデバッグ（例：遠くの自転車乗りを歩行者と誤認するなど）を可能にする。

実験結果

リサーチクエスチョン

• RQ1 原始ピクセル上で学習されたエネルギーベースモデルは、ラベルなしでストリーミング動画における未知の異常を検出できるか？
• RQ2 提案フレームワークは、教師なしおよび最先端のディープラーニング手法と比較して、異常検出精度においてどのように差をつけるか？
• RQ3 DBMにおける統合的クラスタリングと再構成機能は、モデルの解釈可能性およびデバッグをどの程度向上させるか？
• RQ4 インクリメンタルなパrameter更新を伴ってストリーミング処理を継続する中で、本システムは高い性能を維持できるか？
• RQ5 隠れ層活性化の可視化は、モデル挙動の説明にどのように寄与し、体系的な誤りを明らかにするか？

主な発見

• DBMを用いたEADフレームワークは、UCSD Ped 1、Ped 2、Avenueデータセットにおけるピクセルレベルの異常検出で、最先端のディープラーニングモデルと同等の性能を達成する。
• 教師なしEADシステムは、他の教師なしベースラインよりも異常検出精度で優れており、原始ピクセルからのエンド・ツー・エンド表現学習の有効性を示している。
• DBMベースのEADモデルは、同時にシーンのクラスタリングと再構成を実行でき、一致する隠れ層表現を通じて独自の解釈可能性を提供する。
• 活性化パターンの可視化により、モデルが遠くの自転車乗りを歩行者と誤認する理由が、類似した低レベル特徴に起因することを明らかにし、誤りの合理的な説明が得られる。
• DBMの再構成層は、同じクラスタリング状態（例：歩行者あり・なしの歩道）のパッチに対しても異なる反応を示し、共有クラスタ識別とは対照的に、局所的コンテンツに敏感であることが示された。
• DBMを用いたEADフレームワークは、クラスタリング層の応答がシステムの内部意思決定プロセスを直接反映する信頼性の高い解釈可能なモデルを提供する。これは、モジュールが分離されたRBMベースのモデルとは対照的である。