[論文レビュー] Learning Not to Reconstruct Anomalies

Marcella Astrid, Muhammad Zaigham Zaheer+2 more|arXiv (Cornell University)|Oct 19, 2021

Anomaly Detection Techniques and Applications被引用数 18

ひとこと要約

本稿では、パッチおよびスキップフレームの操作を用いて生成された疑似異常を活用することで、異常を再構築しないように明示的に制御する、ワンクラス動画異常検出におけるオートエンコーダーの新しいトレーニング手法を提案する。この手法は、正常データと異常データの区別を向上させ、正常再構築品質を損なわずに3つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Video anomaly detection is often seen as one-class classification (OCC) problem due to the limited availability of anomaly examples. Typically, to tackle this problem, an autoencoder (AE) is trained to reconstruct the input with training set consisting only of normal data. At test time, the AE is then expected to well reconstruct the normal data while poorly reconstructing the anomalous data. However, several studies have shown that, even with only normal data training, AEs can often start reconstructing anomalies as well which depletes the anomaly detection performance. To mitigate this problem, we propose a novel methodology to train AEs with the objective of reconstructing only normal data, regardless of the input (i.e., normal or abnormal). Since no real anomalies are available in the OCC settings, the training is assisted by pseudo anomalies that are generated by manipulating normal data to simulate the out-of-normal-data distribution. We additionally propose two ways to generate pseudo anomalies: patch and skip frame based. Extensive experiments on three challenging video anomaly datasets demonstrate the effectiveness of our method in improving conventional AEs, achieving state-of-the-art performance.

研究の動機と目的

• 標準的なオートエンコーダーが正常データのみでトレーニングされているにもかかわらず、異常入力を再構築してしまうという限界を解消すること。
• ワンクラス分類設定下で、従来のオートエンコーダーが正常再構築と異常再構築の区別が不十分であるという問題を克服すること。
• 異常入力が与えられても、オートエンコーダーが正常データのみを再構築するように保証するトレーニング機構を開発すること。
• パッチベースおよびスキップフレームベースの2つの効果的な疑似異常生成戦略を導入し、トレーニング中に分布外の異常を模倣すること。
• 正常データ再構築品質を損なうことなく、異常検出性能を向上させること。

提案手法

• 入力の種別（正常または異常）に関わらず、正常データのみを再構築することを目的にオートエンコーダーをトレーニングする。
• 正常動画フレームにパッチベースの遮蔽またはスキップフレームの操作を適用することで、疑似異常を生成し、異常分布を模倣する。
• トレーニング中に生成された疑似異常を用いて、モデルが異常コンテンツを再構築することを明示的にペナルティ付ける。
• 疑似異常データをトレーニング損失に統合し、モデルが正常データの周囲にきめ細かく制約された再構築境界を学習するように促進する。
• 元のオートエンコーダー構造を維持しつつ、入力タイプに依存しない再構築を強制する目的関数を変更する。
• 最小-最大正規化された再構築誤差ヒートマップを活用し、改善された異常局所化を可視化および検証する。

実験結果

リサーチクエスチョン

• RQ1 異常入力が与えられても、正常データのみを再構築できるようにトレーニングされたオートエンコーダーは、異常検出性能の向上に寄与するか？
• RQ2 パッチベースおよびスキップフレームベースの疑似異常生成手法は、ワンクラストレーニングにおける分布外の異常を模倣するためにどれほど有効か？
• RQ3 提案手法は、従来のオートエンコーダーやメモリ拡張モデルと比較して、正常再構築と異常再構築の区別をどのように向上させるか？
• RQ4 異常入力を歪ませる一方で、正常データの高品質な再構築をどの程度維持できるか？
• RQ5 提案されたトレーニング戦略は、標準的な動画異常検出ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法は、ShanghaiTech、Avenue、Ped2の3つの挑戦的な動画異常検出データセットで最先端の性能を達成した。
• パッチベースの疑似異常手法はパッチ確率p=0.2で最適な性能を示し、スキップフレーム手法はスキップ間隔s=2,3,4,5で最良の結果を達成した。
• 定性的な結果から、モデルは正常背景を適切に再構築し、異常物体（例：投げられたバックパックや動く自転車）を抑制しており、異常部分での再構築誤差が高くなることが確認された。
• MemAEと比較して、提案モデルはより優れた正常再構築品質を維持しており、特にメモリサイズが性能を制限する状況でも優れた異常識別性能を示した。
• 失敗事例から、細いまたは視覚的に目立たない異常（例：スケートボード、ベビーカー）は依然として困難であることが判明し、より洗練された疑似異常設計の必要性が示された。
• 本手法は多様な異常タイプに対して頑健であり、定量的指標および視覚的再構築品質の両面で、ベースラインのオートエンコーダーおよびMemAEを一貫して上回った。