[論文レビュー] Motion-Aware Feature for Improved Video Anomaly Detection

Yi Zhu, Shawn Newsam|arXiv (Cornell University)|Jul 24, 2019

Anomaly Detection Techniques and Applications参考文献 28被引用数 115

ひとこと要約

この論文は、時間拡張ネットワークと注意機構に基づく時系列MILランク付けモデルを用いて、運動情報を考慮した特徴量を学習し、異常検知で競争力を示すとともに、既存の特徴量と組み合わせた場合にUCF Crimeデータセットで最先端の性能を達成します。

ABSTRACT

Motivated by our observation that motion information is the key to good anomaly detection performance in video, we propose a temporal augmented network to learn a motion-aware feature. This feature alone can achieve competitive performance with previous state-of-the-art methods, and when combined with them, can achieve significant performance improvements. Furthermore, we incorporate temporal context into the Multiple Instance Learning (MIL) ranking model by using an attention block. The learned attention weights can help to differentiate between anomalous and normal video segments better. With the proposed motion-aware feature and the temporal MIL ranking model, we outperform previous approaches by a large margin on both anomaly detection and anomalous action recognition tasks in the UCF Crime dataset.

研究の動機と目的

• ビデオ異常検知の重要な手掛かりとして運動情報を活用する動機付け。
• 光フローから自動的に学習される運動感知特徴を無監督で開発。
• 注意機構を用いてMILベースの異常ランキングに時間的文脈を組み込む。
• 運動感知特徴が既存の特徴と補完的で性能向上に寄与することを示す。
• UCF Crimeで異常検知および異常行動認識の最先端/成果を示す。

提案手法

• スタックされた15個の光 Flowマップを入力とし、ボトルネック表現とグローバル平均プーリングを経て1024次元の運動感知特徴を学習する時系列拡張ネットワーク（オートエンコーダ）を提案。
• 光フロー入力に対するピクセル単位のL1再構成損失を用いてネットワークを無監督で訓練。
• 学習した運動感知特徴を特徴パイプラインへ結合（連結）によるプラグインとして利用。
• 動画セグメント間の時間的文脈を捉えるための注意機構を備えた時系列MILランク付けモデルを導入し、セグメントの寄与度を重み付ける注意重みを学習。
• 高機能性を促進するスパース性制約付きのヒンジ型時系列MILランク付け損失を採用。
• UCF Crimeデータセット上でフレームワークを評価し、先行法やアブレーションと比較して補完性と有効性を示す。

実験結果

リサーチクエスチョン

• RQ1 運動に焦点を当てた無監督学習特徴は、画像ベースあるいは純粋な時空間特徴と比較して異常検知を改善できるか？
• RQ2 MILにおける注意機構を介した時間的文脈の組み込みは、異常イベントと通常イベントのセグメントレベルの識別性を改善するか？
• RQ3 運動感知特徴は既存特徴（例：C3D、I3D）と異常検知性能でどのように相互作用するか？
• RQ4 異常検知および異常行動認識のための運動表現として光フローベースの運動表現を採用する利点は何か？
• RQ5 提案フレームワークは実世界の監視データにおいて異常検知と異常行動認識の両方を改善できるか？

主な発見

Method	AUC (%)
Hasan et al. (2016)	50.6
Lu et al. (2013)	65.5
Sultani et al. (2018) (baseline)	75.4
MA (motion-aware feature)	72.1
Hasan et al. (2016) + MA	62.7
Lu et al. (2013) + MA	73.4
Sultani et al. (2018) + MA	79.0

• 運動感知特徴単独でUCF CrimeのAUCを競争力のある水準に達成し、他の特徴と組み合わせた場合に補完的である。
• 注意機構を備えた時系列MILは、非注意型MILと比較してAUCを約1–2ポイント向上させる。
• 運動感知特徴とSultaniらのベースラインを組み合わせると、彼らの設定で新たな最高AUC 79.0%を達成。
• 運動感知特徴はVGG16、Inception、I3D、C3Dと組み合わせた場合に一貫して精度を向上させる。
• 高速運動クラス（例：逮捕、暴行、戦闘）で大幅な改善をもたらす。
• 可視化は、運動感知特徴を用いると低偽陽性率で真陽性率が高くなることを示す。