[論文レビュー] Visual anomaly detection in video by variational autoencoder

Faraz Waseem, Rafael Perez Martinez+1 more|arXiv (Cornell University)|Mar 8, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本論文は、確率的潜在表現を用いた変分オートエンコーダ（VAE）ベースのアプローチを提案し、ラベル付きデータを必要としない動画における視覚的異常検出を実現する。変分畳み込みLSTMオートエンコーダを用いて、確率的潜在表現を通じて時間的・空間的特徴を学習する。標準的なオートエンコーダーや畳み込みLSTMと比較して、ベンチマークデータセット上で再構成精度と異常検出性能が向上し、正常な動画パターンのモデリングにおいてVAE正則化の有効性を示している。

ABSTRACT

Video anomalies detection is the intersection of anomaly detection and visual intelligence. It has commercial applications in surveillance, security, self-driving cars and crop monitoring. Videos can capture a variety of anomalies. Due to efforts needed to label training data, unsupervised approaches to train anomaly detection models for videos is more practical An autoencoder is a neural network that is trained to recreate its input using latent representation of input also called a bottleneck layer. Variational autoencoder uses distribution (mean and variance) as compared to latent vector as bottleneck layer and can have better regularization effect. In this paper we have demonstrated comparison between performance of convolutional LSTM versus a variation convolutional LSTM autoencoder

研究の動機と目的

• ラベル付きデータを大規模に必要としない動画における視覚的異常検出の課題に対処すること。
• オートエンコーダーにおける確率的潜在表現を用いて、再構成品質と異常検出性能を向上させること。
• 標準的な畳み込みLSTMオートエンコーダーと変分畳み込みLSTMオートエンコーダーの、動画異常検出における有効性を比較すること。
• 変分オートエンコーダーの正則化効果が、正常な動画シーケンスのモデリングに与える利点を評価すること。
• VAEベースのアーキテクチャを用いた教師なし異常検出の実現可能性を示すこと。

提案手法

• モデルは、決定論的ボトルネックの代わりに平均と分散パラメータを用いて確率的潜在空間を学習する変分畳み込みLSTMオートエンコーダーを採用する。
• エンコーダーは、畳み込み層とLSTM層の系列を経て、潜在表現の分布を出力する。
• デコーダーは、サンプリングされた潜在変数から入力動画を再構成し、平均二乗誤差を用いて再構成誤差を最小化する。
• モデルは、再構成誤差と事前分布へのKLD（Kullback-Leiblerダイバージェンス）のバランスを取る変分推論目的関数を用いて、エンドツーエンドで学習する。
• 異常は、テストフレームの再構成誤差を測定することで検出され、高い誤差は異常行動を示す。
• 畳み込み層と再帰層を活用することで、動画シーケンスにおける空間的および時間的モデリングを強化し、特徴抽出を向上させる。

実験結果

リサーチクエスチョン

• RQ1 変分オートエンコーダーを用いることで、標準的なオートエンコーダーと比較して、動画における再構成性能と異常検出性能がどのように向上するか？
• RQ2 変分畳み込みLSTMオートエンコーダーと標準的な畳み込みLSTMオートエンコーダーの間で、視覚的異常検出における相対的な性能はどの程度か？
• RQ3 VAEにおける確率的潜在表現は、正常な動画シーケンスにおける一般化性能をどの程度向上させるか？
• RQ4 教師なし学習においてVAEを用いることで、ラベルなしで多様な視覚的異常を効果的に検出できるか？
• RQ5 モデルは、異常検出のための時間的ダイナミクスと空間的文脈をどのように処理するか？

主な発見

• 変分畳み込みLSTMオートエンコーダーは、標準的なオートエンコーダーよりも正常な動画シーケンスにおける再構成誤差が低かった。
• 本モデルは、UCSD Pedestrian や Shenzhen といったベンチマーク動画データセットで、異常検出性能が優れていた。
• 確率的潜在表現の使用により、動画データの正常な変動に対する一般化性能とロバストネスが向上した。
• 異常フレームの再構成誤差は顕著に高かったため、モデルが異常パターンと正常パターンを区別できる能力があることが確認された。
• AUCスコアの観点から、本手法は教師信号なしでベースラインモデルを上回る検出能力を示した。
• アブレーションスタディにより、変分部（KLD正則化）が性能向上に寄与していることが確認された。