[論文レビュー] Generalized Video Anomaly Event Detection: Systematic Taxonomy and Comparison of Deep Models

Yang Liu, Dingkang Yang+6 more|arXiv (Cornell University)|Feb 10, 2023

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本論文は、教師あり、弱教師あり、教師あり、完全に教師なしのパラダイムを網羅する深層学習ベースの手法を体系的に分類する、一般化動画異常イベント検出（GVAED）の統合フレームワークを提案する。階層的分類体系を提示し、モデルの性能をベンチマーク化し、主要なリソースを整理し、動画異常検出分野における今後の研究方向性を特定する。

ABSTRACT

Video Anomaly Detection (VAD) serves as a pivotal technology in the intelligent surveillance systems, enabling the temporal or spatial identification of anomalous events within videos. While existing reviews predominantly concentrate on conventional unsupervised methods, they often overlook the emergence of weakly-supervised and fully-unsupervised approaches. To address this gap, this survey extends the conventional scope of VAD beyond unsupervised methods, encompassing a broader spectrum termed Generalized Video Anomaly Event Detection (GVAED). By skillfully incorporating recent advancements rooted in diverse assumptions and learning frameworks, this survey introduces an intuitive taxonomy that seamlessly navigates through unsupervised, weakly-supervised, supervised and fully-unsupervised VAD methodologies, elucidating the distinctions and interconnections within these research trajectories. In addition, this survey facilitates prospective researchers by assembling a compilation of research resources, including public datasets, available codebases, programming tools, and pertinent literature. Furthermore, this survey quantitatively assesses model performance, delves into research challenges and directions, and outlines potential avenues for future exploration.

研究の動機と目的

• 既存のサーベイが動画異常検出（VAD）における弱教師ありおよび完全に教師なしの手法を無視するというギャップを埋める。
• 教師の程度、入力データモダリティ、ネットワークアーキテクチャに基づく、一般化動画異常イベント検出（GVAED）モデルの体系的で階層的な分類体系を提唱する。
• 将来の研究者向けに、公開されたデータセット、コードベース、ツール、文献を収集・整理する。
• UVAD、WAED、SVAD、FVADパラダイム間でモデル性能を定量的に比較する。
• GVAEDにおける未解決の課題を特定し、特に実世界での導入を想定した今後の研究方向性を提示する。

提案手法

• 教師の程度、入力データモダリティ、ネットワークアーキテクチャに基づき、GVAEDモデルの階層的分類体系を提案する。
• 既存の深層学習手法を4つの主要なパラダイムに分類する：教師あり（UVAD）、弱教師あり（WAED）、教師あり（SVAD）、完全に教師なし（FVAD）。
• 自己教師あり表現学習（例：対照的学習、ディープクラスタリング）および知識蒸留の最近の進展を分類体系に統合する。
• 異なるデータセットおよび設定でのモデル性能を比較する定量的評価とアブレーションスタディを実施する。
• WAEDにおいて、正常および異常イベントの空間的・時間的特徴を比較することで、異常スコアリングに複数インスタンス学習（MIL）を活用する。
• 軽量で実装可能なGVAEDシステムの実現のため、モデル圧縮、オンライン進化学習、エッジ・クラウド連携を検討する。

実験結果

リサーチクエスチョン

• RQ1 従来の教師ありパラダイムを超えて、既存の動画異常検出手法を体系的に分類する方法は何か？
• RQ2 教師あり、弱教師あり、教師あり、完全に教師なしのVADアプローチの間には、どのような主な違いと相互接続性があるか？
• RQ3 最近の自己教師ありおよびマルチモーダル学習技術は、GVAEDにおける表現学習をどのように向上させるか？
• RQ4 実世界での導入制約下で、UVAD、WAED、SVAD、FVADの性能のトレードオフと限界は何か？
• RQ5 知的監視システムにおけるGVAEDの発展に向け、最も重要な今後の研究方向性と技術的課題は何か？

主な発見

• 本サーベイは、4つの学習パラダイム（UVAD、WAED、SVAD、FVAD）を統合した、一般化動画異常イベント検出（GVAED）の包括的かつ統合的な分類体系を確立した。
• 2018年以降、犯罪検知や交通監視などの実世界応用で優れた性能を示すとして、WAEDが主要なパラダイムとして台頭した。
• UVADモデルは、複雑なデータセットでは性能の飽和に陥り、未学習の正常イベントや異常パターンへの一般化能力に課題を抱えている。
• 対照的学習やディープクラスタリングなどの自己教師あり表現学習技術は、UVADのロバストネスを向上させる有望な新たな方向性を提供する。
• アノテーションなしで生動画から直接学習するFVADは、データ整備コストの低減とスケーラブルな展開の可能性から、注目を集めつつある。
• モデル圧縮、知識蒸留、エッジ・クラウド連携は、リソース制限のあるデバイスに軽量でリアルタイムなGVAEDモデルを実装する上で不可欠な要素である。