[論文レビュー] Discriminative-Generative Dual Memory Video Anomaly Detection

Xin Guo, Zhongming Jin+6 more|arXiv (Cornell University)|Apr 29, 2021

Anomaly Detection Techniques and Applications参考文献 35被引用数 4

ひとこと要約

本稿では、データの不均衡問題に対処するため、2つの識別器を用いて正常特徴の境界を鋭くし、次フレーム予測のための生成器を備えた、動画異常検出のための判別的・生成的二重メモリモデルDREAMを提案する。新規の二重メモリモジュールにより、正常性と異常性のプロトタイプを別々に保存し、少数の異常データからも効果的に学習可能であり、追加パラメータなしに4つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Recently, people tried to use a few anomalies for video anomaly detection (VAD) instead of only normal data during the training process. A side effect of data imbalance occurs when a few abnormal data face a vast number of normal data. The latest VAD works use triplet loss or data re-sampling strategy to lessen this problem. However, there is still no elaborately designed structure for discriminative VAD with a few anomalies. In this paper, we propose a DiscRiminative-gEnerative duAl Memory (DREAM) anomaly detection model to take advantage of a few anomalies and solve data imbalance. We use two shallow discriminators to tighten the normal feature distribution boundary along with a generator for the next frame prediction. Further, we propose a dual memory module to obtain a sparse feature representation in both normality and abnormality space. As a result, DREAM not only solves the data imbalance problem but also learn a reasonable feature space. Further theoretical analysis shows that our DREAM also works for the unknown anomalies. Comparing with the previous methods on UCSD Ped1, UCSD Ped2, CUHK Avenue, and ShanghaiTech, our model outperforms all the baselines with no extra parameters. The ablation study demonstrates the effectiveness of our dual memory module and discriminative-generative network.

研究の動機と目的

• 多数の正常データの中の少数の異常データに起因するデータの不均衡問題に対処すること。
• 少数の異常サンプルの特徴を明示的に活用し、より良い特徴の区別を可能にする専用アーキテクチャを設計すること。
• 二重メモリ機構を通じて、正常パターンおよび異常パターンの両方のより強固で分離された特徴空間を学習すること。
• 特徴の区別能を高めることで、未知の異常タイプへの一般化性能を向上させること。

提案手法

• モデルは、正常特徴分布の境界を鋭くすることで識別性能を向上させる2つの浅い識別器を採用する。
• フレーム予測生成器を用いて時系列的ダイナミクスを学習し、再構成誤差を異常指標として用いる。
• 二重メモリモジュールは、正常性と異常性の別々のメモリバンクを維持し、正常データによる優位性を防ぐために独立して更新される。
• 入力クリップからのクエリベクトルをL2距離を用いて両方のメモリバンクと比較し、異常スコアを計算する。
• 比率ベースのスコアリング機構を用いる：r_normal = sum(d(U^N, M^N)) / sum(d(U^N, M^A)) および r_abnormal = sum(d(U^A, M^A)) / sum(d(U^A, M^N)) により、正常および異常クリップを区別する。
• メモリ更新ルールにより、異常がまれであっても、正常および異常パターンが効果的に記憶される。

実験結果

リサーチクエスチョン

• RQ1 少数の異常サンプルでの動画異常検出において、二重メモリ構造がデータの不均衡を効果的に緩和できるか？
• RQ2 正常性と異常性のメモリバンクを分離することで、特徴の区別能とモデルの一般化性能がどのように向上するか？
• RQ3 提案手法は、既知の異常タイプおよび未知の異常タイプの両方を効果的に検出できるか？
• RQ4 判別的および生成的コンポonentの組み合わせにより、従来手法と比較して異常検出性能が向上するか？

主な発見

• DREAMは、追加パラメータなしにUCSD Ped1、UCSD Ped2、CUHK Avenue、ShanghaiTechの各データセットで、すべてのベースライン手法を上回る性能を達成した。
• Ped1ではr_normal = 15.48、Ped1ではr_abnormal = 12.72を達成し、正常と異常特徴の強い分離が示された。
• 除去実験により、二重メモリモジュールおよび判別的・生成的ネットワーク設計の両方が、性能向上に顕著な寄与をしていることが確認された。
• Avenueデータセットにおけるt-SNE可視化では、二重メモリ空間において正常（青）と異常（赤）の特徴が明確にクラスタリングされた。
• ケーススタディでは、DREAMが異常領域で高い再構成誤差を示し、動的および静的異常に対して感受性が高いことが確認された。
• 理論的および実験的分析により、DREAMは、トレーニング時にそれらを確認しなかったとしても、未知の異常タイプに一般化できることを示した。