[論文レビュー] Few-shot Scene-adaptive Anomaly Detection

Yiwei Lu, Frank Yu+2 more|arXiv (Cornell University)|Jul 15, 2020

Anomaly Detection Techniques and Applications参考文献 38被引用数 4

ひとこと要約

本論文では、メタラーニングを用いて、わずかなフレームのみで未観測の監視シーンに事前学習済みモデルを適応させる、少数ショットのシーン適応型異常検出手法を提案する。本手法は、複数のベンチマークデータセットで最先端の性能を達成し、ファインチューニングベースラインを著しく上回り、深度画像を含む多様なシーンやモodalitiesにわたる強力な一般化性能を示している。

ABSTRACT

We address the problem of anomaly detection in videos. The goal is to identify unusual behaviours automatically by learning exclusively from normal videos. Most existing approaches are usually data-hungry and have limited generalization abilities. They usually need to be trained on a large number of videos from a target scene to achieve good results in that scene. In this paper, we propose a novel few-shot scene-adaptive anomaly detection problem to address the limitations of previous approaches. Our goal is to learn to detect anomalies in a previously unseen scene with only a few frames. A reliable solution for this new problem will have huge potential in real-world applications since it is expensive to collect a massive amount of data for each target scene. We propose a meta-learning based approach for solving this new problem; extensive experimental results demonstrate the effectiveness of our proposed method.

研究の動機と目的

• 既存の異常検出モデルが、各ターゲットシーンから大規模なデータを必要とし、異なるカメラ位置間で一般化に失敗するという制限を解決すること。
• 新しいシーンにわずかなフレームのみで適応可能な、新しい少々ショットのシーン適応型異常検出問題を提示すること。
• 未観測のシーンに迅速に適応しつつ、高い検出精度を維持できるメタラーニングフレームワークを開発すること。
• 深度画像などの異なるモダリティを含む多様なシーンにわたる一般化を実証すること。

提案手法

• 本手法は、メタラーニングを用いて、異なるカメラ位置からのデータを用いて新しいシーンへの少々ショット適応をシミュレートするタスクの分布でモデルを学習する。
• メタトレーニングの過程で、そのシーンからのわずかなサポートフレームのみを用いて、モデルが新しいシーンに素早く適応できるように最適化される。
• バックボーンアーキテクチャは、フレーム再構成を目的としたr-GANモデルであり、推論時にターゲットシーンからの少数のフレームを用いてファインチューニングされる。
• 過学習を防ぐために、各エポックで複数のシーンをサンプリングすることで、メタラーニングの目的関数を最適化する。
• 推論時、モデルはそのシーンからのKフレームを用いてパラメータを更新し、残りの動画に対して異常検出を実行する。
• 本手法は、正常フレームの再構成誤差を最小化するように、少数ショット適応プロトコルに従ってモデルパラメータを更新するタスク固有の適応メカニズムを活用する。

実験結果

リサーチクエスチョン

• RQ1 わずかなフレームのみで、これまでに観測されていない新しい監視シーンに効果的にモデルを適応させられるか？　大規模な再トレーニングを必要としないか？
• RQ2 標準的なファインチューニングと比較して、メタラーニングは多様なカメラシーン間での一般化をどのように向上させるか？
• RQ3 視覚的特徴が著しく異なる環境や、深度画像などの異なるモダリティを有するシーンに対し、モデルはどの程度一般化できるか？
• RQ4 メタトレーニングエポックごとにサンプリングするタスク数を増やすことで、モデルのロバスト性と性能が向上するか？

主な発見

• Shanghai Techデータセットでは、K=1の際AUCが80.60、K=10の際には82.38を達成し、ファインチューニングベースラインを平均で2%以上上回った。
• より挑戦的なUCF Crimeデータセットでは、クロスデータセットテストにおいてベースライン比20%以上の改善を達成し、強力な一般化性能を示した。
• 深度画像を用いるUR Fallデータセットに対しても、モデルは正常に適応し、トレーニングデータとは著しく異なるシーンでも安定した性能を示した。
• メタトレーニングエポックごとに5つのタスク（N=5）をサンプリングした場合、1つのタスク（N=1）をサンプリングした場合よりも優れた性能を示し、複数シーンのサンプリングが一般化性能を向上させることを示した。
• わずか1枚のサポートフレーム（K=1）でも、メタラーニングで学習したモデルは標準的なファインチューニングを上回った。これは、メタラーニングによる適応メカニズムの有効性を裏付けている。