[論文レビュー] Exploring Diffusion Models for Unsupervised Video Anomaly Detection

Anıl Osman Tur, Nicola Dall’Asen+2 more|arXiv (Cornell University)|Apr 12, 2023

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本稿では、教師なしの動画異常検出に拡散モデルを用いる新規手法を提案する。この手法は、ラベルなしデータを用いて再構成誤差を活用し、異常を同定する。最適化されたノイズスケジューリングとしきい値処理を適用したk-拡散を用いることで、UCF-CrimeおよびShanghaiTechで最先端の性能を達成し、一部の状況ではより複雑なアーキテクチャを上回る。

ABSTRACT

This paper investigates the performance of diffusion models for video anomaly detection (VAD) within the most challenging but also the most operational scenario in which the data annotations are not used. As being sparse, diverse, contextual, and often ambiguous, detecting abnormal events precisely is a very ambitious task. To this end, we rely only on the information-rich spatio-temporal data, and the reconstruction power of the diffusion models such that a high reconstruction error is utilized to decide the abnormality. Experiments performed on two large-scale video anomaly detection datasets demonstrate the consistent improvement of the proposed method over the state-of-the-art generative models while in some cases our method achieves better scores than the more complex models. This is the first study using a diffusion model and examining its parameters' influence to present guidance for VAD in surveillance scenarios.

研究の動機と目的

• 監視なし動画異常検出（VAD）における拡散モデルの実現可能性と有効性を調査すること。
• ノイズスケジュールやしきい値処理といった、主要な拡散モデルハイパーパramータが異常検出性能に与える影響を調査すること。
• 異常アノテーションにアクセスできないリアルワールドのシナリオにおいて、拡散モデルを実装するための実用的ガイドラインを提供すること。
• 拡散モデルにおける高い再構成誤差が、異常な動画フレームを信頼性高く示すことができることを示すこと。

提案手法

• 本手法は、ラベルなしの動画クリップからの時空間的特徴を再構成するためのノイズ除去拡散モデルを用い、再構成誤差を異常スコアとして使用する。
• k-拡散の定式化を採用し、逆過程がユーザーが定義したタイムステップ $ t $ から開始される。これにより、ノイズレベルと情報保持の両方を制御できる。
• フーリエ特徴とFiLM層を用いて、タイムステップ埋め込みを導入し、ノイズレベルに応じた再構成プロセスの条件付けを実現する。
• データ駆動型しきい値を用いて異常を検出する：$ L_{th} = \mu_p + k\sigma_p $、ここで $ \mu_p $ と $ \sigma_p $ はバッチ内のMSE損失の平均および標準偏差である。
• モデルは正常な動画クリップのみで訓練され、訓練中に異常アノテーションにアクセスしない。
• 本手法は、UCF-CrimeおよびShanghaiTechという2つの大規模ベンチマークを用いてAUCスコアで評価される。

Fig. 1 : The proposed method takes a batch of unlabeled video clips as the input and learns to determine whether each frame is anomalous or exhibits normal behavior. Our model is a generative one, which leverages the reconstruction capability of diffusion models for unsupervised VAD. Mean Squared Er

実験結果

リサーチクエスチョン

• RQ1 教師なしデータを用いて、拡散モデルが動画における異常を効果的に検出できるか？
• RQ2 逆ノイズ除去プロセスの開始タイムステップ $ t $ が再構成誤差および異常検出性能に与える影響は？
• RQ3 データ駆動型しきい値 $ L_{th} = \mu_p + k\sigma_p $ のしきい値乗数 $ k $ の最適値は何か？
• RQ4 異なるバックボーンアーキテクチャ（例：3D-ResNet18、3D-ResNeXt101）がVADにおける拡散ハイパーパramータに与える影響は？
• RQ5 提案手法は、既存のSOTA生成モデルと比較して、教師なしVADにおいてより優れた一般化性能を示すか？

主な発見

• 提案手法は、UCF-CrimeおよびShanghaiTechの両データセットで最先端の性能を達成し、自己符号化器に基づく先行SOTA生成モデルを上回る。
• ShanghaiTechにおける3D-ResNet18では、$ t=6 $ が最良の性能を示したが、他の設定では $ t=4 $ が最適であった。これはノイズスケジュールへの感受性を示している。
• しきい値乗数 $ k $ は性能に顕著な影響を与える：3D-ResNeXt101では、両データセットで $ k=0.5 $ が最良の結果をもたらした。一方、3D-ResNet18では、ShanghaiTechでは $ k=0.7 $、UCF-Crimeでは $ k=0.1 $ が最適であった。
• 最良の $ k $ 値と最悪の $ k $ 値の間のAUC差は最大で3ポイントに達し、ハイパーパramータチューニングの重要性を強調している。
• より複雑なモデル（例えば、協調的生成的・識別的学習を用いるもの）でさえ、特定の状況では本手法に劣ることを示しており、拡散モデルを用いた再構成ベースの異常検出の強力さを裏付けている。
• 定性的な結果から、真の異常発生時刻に伴い異常スコアが急激に上昇し、その後低下することが確認され、時間的整合性と感度が裏付けられた。

Fig. 2 : The effect of noise and the starting point of the reverse process while performing k-diffusion for VAD. The results (AUC %) belong to ShanghaiTech dataset [ 3 ] with 3D-ResNet18 backbone.