[論文レビュー] Lightning Fast Video Anomaly Detection via Adversarial Knowledge Distillation

Florinel-Alin Croitoru, Nicolae-Cătălin Ristea+4 more|arXiv (Cornell University)|Nov 28, 2022

Anomaly Detection Techniques and Applications参考文献 92被引用数 4

ひとこと要約

本論文は、複数の高精度なオブジェクトレベル教師モデルから、標準的および敵対的知識蒸留の新規組み合わせを用いて知識を蒸留する、極めて高速なフレームレベル動画異常検出モデルを提案する。完全結合層をポイントワイズ畳み込み層に置き換え、低解像度の異常マップを精緻化するための敵対的識別器を採用することで、学生モデルは1480 FPSを達成し、最速のベースラインよりも7倍以上高速でありながら、Avenue、ShanghaiTech、UCSD Ped2ベンチマークで最先端の精度を維持する。

ABSTRACT

We propose a very fast frame-level model for anomaly detection in video, which learns to detect anomalies by distilling knowledge from multiple highly accurate object-level teacher models. To improve the fidelity of our student, we distill the low-resolution anomaly maps of the teachers by jointly applying standard and adversarial distillation, introducing an adversarial discriminator for each teacher to distinguish between target and generated anomaly maps. We conduct experiments on three benchmarks (Avenue, ShanghaiTech, UCSD Ped2), showing that our method is over 7 times faster than the fastest competing method, and between 28 and 62 times faster than object-centric models, while obtaining comparable results to recent methods. Our evaluation also indicates that our model achieves the best trade-off between speed and accuracy, due to its previously unheard-of speed of 1480 FPS. In addition, we carry out a comprehensive ablation study to justify our architectural design choices. Our code is freely available at: https://github.com/ristea/fast-aed.

研究の動機と目的

• 監視システムにおけるリアルタイム動画異常検出の高い計算コストを低減すること。
• 事前学習済み検出器に依存するオブジェクト中心のモデルが、GPUあたり20～50 FPSに制限される非効率性を克服すること。
• 複雑なオブジェクトレベル教師モデルと同等の精度を達成しながら、推論速度を著しく向上させるフレームレベルの学生モデルを開発すること。
• 敵対的識別器を導入して、学生が生成する異常マップと教師のマップを一致させることで、知識蒸留の忠実度を向上させること。
• 速度と精度の最良のトレードオフを達成し、実世界のシナリオにおけるスケーラブルな展開を可能にすること。

提案手法

• 推論速度の向上と特徴表現の維持を図るため、変換器アーキテクチャ内の完全結合層をポイントワイズ畳み込み層に置き換える。
• 複数のオブジェクトレベル教師モデル（例：YOLOv3ベースの検出器）からの知識蒸留を、低解像度の異常マップ蒸留を介して実行する学生モデルを訓練する。
• 正常性のパターンを転送するために、学生と教師の異常マップ間の平均二乗誤差（MSE）損失を用いた標準的蒸留を適用する。
• 各教師モデルに対して敵対的識別器を導入し、本物（教師）の異常マップと生成物（学生）のマップを区別させることで、忠実度と局所化精度を向上させる。
• 2段階の訓練プロセスを採用：まず中間フレームを再構築して正常な時空間パターンを学習し、次に異常マップを一致させる蒸留損失を適用する。
• 多様なオブジェクトレベル検出器からの知識を集約することで、複数の教師モデルへの拡張を実現し、耐性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 フレームレベルの学生モデルは、著しく高速な推論速度を実現しながらも、最先端のオブジェクトレベル教師モデルと同等の異常検出性能を達成できるか？
• RQ2 標準的蒸留に加えて敵対的蒸留を組み合わせることで、標準的蒸留のみに比べて、学生が生成する異常マップの忠実度が向上するか？
• RQ3 完全結合層をポイントワイズ畳み込み層に置き換えることで、動画異常検出における速度と精度がどの程度向上するか？
• RQ4 複数のベンチマークにおいて、本手法は既存手法と比べて速度と精度のトレードオフにおいて優れているか？
• RQ5 オブジェクト検出器が失敗する状況（例：飛行する紙の如く未知のオブジェクトクラス）において、学生モデルは教師モデルよりも効果的に異常を検出できるか？

主な発見

• 提案された学生モデルは1つのGPUで1480 FPSを達成し、最速の競合手法よりも7倍以上高速であり、オブジェクト中心のモデルよりも28～62倍も高速である。
• Avenue、ShanghaiTech、UCSD Ped2ベンチマークにおいて、学生モデルはトップパフォーマンスを示すオブジェクトレベル教師モデルと比較して、微小AUCスコアで5%以内の差に抑えられ、UCSD Ped2では最高98.63%のAUCを記録した。
• ShanghaiTechのテスト動画01_0136において、最良の教師モデル（T₁）よりもAUCで12.3%高い性能を示し、低複雑性にもかかわらず優れた一般化性能を示した。
• YOLOv3ベースの教師モデルがクラス制限により失敗する状況（例：飛行する紙）において、学生モデルは効果的に異常を検出できた。
• 完全結合層をポイントワイズ畳み込み層に置き換えることで、速度（1480 FPS 対 1267 FPS）と精度（85.0%微小AUC 対 71.8%）の両方が向上し、アーキテクチャ的利点を確認した。
• 敵対的蒸留は、学生が生成する異常マップの滑らかさと局所化品質を著しく向上させ、誤検出を低減し、耐性を高めた。