[論文レビュー] Learning Normal Dynamics in Videos with Meta Prototype Network

Hui Lv, Chen Chen+4 more|arXiv (Cornell University)|Apr 14, 2021

Anomaly Detection Techniques and Applications参考文献 49被引用数 14

ひとこと要約

本稿では、注目メカニズムを用いたプロトタイプマイニングにより、動的プロトタイプユニット（DPU）を用いて通常の動画ダイナミクスを学習するメタプロトタイプネットワーク（MPN）を提案する。これにより、追加のストレージを必要とせず、メモリ効率的かつエンドツーエンドで通常性モデリングが可能になる。メタラーニングを統合することで、新しいシーンへの高速少数ショット適応が実現され、Ped2で96.9% AUC、166.8 FPSの推論速度を達成し、複数のベンチマークで最先端手法を上回る性能を示した。

ABSTRACT

Frame reconstruction (current or future frame) based on Auto-Encoder (AE) is a popular method for video anomaly detection. With models trained on the normal data, the reconstruction errors of anomalous scenes are usually much larger than those of normal ones. Previous methods introduced the memory bank into AE, for encoding diverse normal patterns across the training videos. However, they are memory-consuming and cannot cope with unseen new scenarios in the testing data. In this work, we propose a dynamic prototype unit (DPU) to encode the normal dynamics as prototypes in real time, free from extra memory cost. In addition, we introduce meta-learning to our DPU to form a novel few-shot normalcy learner, namely Meta-Prototype Unit (MPU). It enables the fast adaption capability on new scenes by only consuming a few iterations of update. Extensive experiments are conducted on various benchmarks. The superior performance over the state-of-the-art demonstrates the effectiveness of our method.

研究の動機と目的

• 大規模なメモリバンクを必要とする従来手法の限界を克服し、メモリ集約的でない、微分可能なプロトタイプ学習メカニズムに置き換えること。
• わずかなサポートフレームのみで新しい環境に迅速に適応できる仕組みを提供することで、多様な実世界のシーンにおける一般化性能を向上させること。
• 特定のパターンに過剰適合しないように、メモリフリーでエンドツーエンドでトレーニング可能なフレームワークを構築し、動画内の多様な通常ダイナミクスをモデル化すること。
• 再構成ベースの異常検出を向上させるために、通常ダイナミクスを明示的にプロトタイプとしてエンコードすることで、未観測の異常に対する検出精度を向上させること。

提案手法

• 連続する通常フレームの特徴量から、マルチヘッドアテンションを用いて正常性重みを割り当てることで、コン act かつ多様なプロトタイプを学習する動的プロトタイプユニット（DPU）を導入する。
• DPUはアテンション重みに基づく特徴ベクトルの集約によりプロトタイプのプールを生成し、代表的かつ重複のないプロトタイプを保証するためのコンパクト性と多様性損失を導入する。
• DPUにメタラーニング戦略を適用し、推論時にわずかなサポートフレームでのみプロトタイプパラメータを更新することで、新しいシーンへの高速適応を可能にする。
• DPUはオートエンコーダーベースに統合され、再構成された特徴マップとプロトタイプベースのエンコーディングが統合され、より良いフレーム予測または再構成が実現される。
• 再構成損失と、コンパクトで多様なプロトタイプ学習を促進する新しいプロトタイプベース損失の組み合わせにより、エンドツーエンドでモデルをトレーニングする。
• 推論では、メタ最適化された初期化を用いた少数ショット適応を実施し、再トレーニングなしに新しいシーンで迅速なパラメータ更新が可能になる。

実験結果

リサーチクエスチョン

• RQ1 メモリフリーで微分可能なプロトタイプ学習メカニズムは、動画シーケンスにおける多様な通常ダイナミクスを効果的にモデル化できるか？
• RQ2 わずかなサポートフレームでのみ、未観測の新しいシーンに迅速に適応できる動画異常検出モデルはどのように実現できるか？
• RQ3 注目ベースのプロトタイプマイニングは、従来のメモリバンクアプローチに比べ、精度と効率性において優れているか？
• RQ4 メタラーニングは、教師なし動画異常検出における少数ショット適応のためのプロトタイプネットワークの初期化に有効に活用できるか？

主な発見

• 提案されたメタプロトタイプネットワーク（MPN）は、Ped2ベンチマークで96.9% AUCを達成し、MemAE や LMN を含む最先端手法を上回った。
• 10個のプロトタイプでDPUは最適な性能を発揮し、10個を超えて増加させるとノイズと多様性の低下により性能が低下した。
• 単一のRTX-2080Ti GPUで166.8 FPSの推論速度を達成し、rGAN（2.1 FPS） や MemAE（86.7 FPS） よりも顕著に高速であった。
• オートエンコーダーの高解像度層にDPUを配置することで性能が向上し、Ped2において1/8解像度では81.18から1/1解像度では89.19にAUCが上昇した。
• DPUが生成する正常性マップは、道路、芝生、建物などのシーン固有の正常属性を効果的に強調しており、異常領域では低重みが付与された。
• アブレーションスタディの結果、特徴再構成とフレーム予測スコアの両方の損失を組み合わせた場合が最良の性能（96.9% AUC）を示し、2つの損失成分が相補的であることが確認された。