[論文レビュー] CLIP-TSA: CLIP-Assisted Temporal Self-Attention for Weakly-Supervised Video Anomaly Detection

Hyekang Kevin Joo, Khoa Vo+2 more|arXiv (Cornell University)|Dec 9, 2022

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本稿では、CLIPでエンコードされた視覚的特徴と時系列自己注意（TSA）機構を活用して異常の局所化を向上させる、弱教師あり動画異常検出フレームワークであるCLIP-TSAを提案する。従来のC3D/I3Dバックボーンに代えてCLIP特徴を採用し、異常スニペットを強調する微分可能top-κ注意を適用することで、UCF-Crime、ShanghaiTech Campus、XD-Violenceの3つのベンチマークで最先端の性能を達成し、先行手法を大きく上回った。

ABSTRACT

Video anomaly detection (VAD) -- commonly formulated as a multiple-instance learning problem in a weakly-supervised manner due to its labor-intensive nature -- is a challenging problem in video surveillance where the frames of anomaly need to be localized in an untrimmed video. In this paper, we first propose to utilize the ViT-encoded visual features from CLIP, in contrast with the conventional C3D or I3D features in the domain, to efficiently extract discriminative representations in the novel technique. We then model temporal dependencies and nominate the snippets of interest by leveraging our proposed Temporal Self-Attention (TSA). The ablation study confirms the effectiveness of TSA and ViT feature. The extensive experiments show that our proposed CLIP-TSA outperforms the existing state-of-the-art (SOTA) methods by a large margin on three commonly-used benchmark datasets in the VAD problem (UCF-Crime, ShanghaiTech Campus, and XD-Violence). Our source code is available at https://github.com/joos2010kj/CLIP-TSA.

研究の動機と目的

• 動画レベルのラベルしか入手できない弱教師あり動画異常検出（VAD）の課題に対処し、アノテーション負荷を軽減すること。
• 行動認識で事前学習された従来のバックボーン（例：C3D、I3D）が異常検出においてドメインギャップを抱えるという限界を克服すること。
• 時間的整合性をモデル化し、顕著な異常パターンを同定することで、非トリムド動画における異常スニペットの局所化を向上させること。
• MILフレームワーク下でエンドツーエンド学習可能な微分可能top-κ注意機構を開発し、最も異常なスニペットを効果的に選択すること。
• CLIPの視覚・言語特徴と、新たな時系列注意機構を組み合わせることで、異常検出に有効であることを実証すること。

提案手法

• CLIPのViTベースの視覚エンコーダーを用いて、各スニペットの中央フレームから豊富で判別力のある特徴を抽出し、従来の行動認識バックボーンに代える。
• 各動画を固定長（δ=16）のスニペットに分割し、CLIPを用いて各スニペットを512次元の特徴ベクトルとして表現し、1動画あたりT=32個のスニペットの系列を形成する。
• 異常スニペットに注目を向けるために、異常スコアに基づいてスニペット特徴を再重み付けするための時系列自己注意（TSA）を導入する。
• ハード注目を用いた微分可能top-κ関数を適用し、κ=0.7×T個の最も異常なスニペットを選択することで、MIL設定下でのエンドツーエンド学習を可能にする。
• 正例（異常）動画では注目度を高め、負例（正常）動画では低く保つように、差分最大化トレーナーを用いてモデルを訓練する。
• MLPスコアラー網を用いて異常スコアを予測し、Adam最適化アルゴリズム、学習率0.001、バッチサイズ16を用いて、全モデルをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 行動認識ベースのバックボーン（例：C3D、I3D）と比較して、CLIPでエンコードされた視覚的特徴は、動画異常検出の表現学習をどのように向上させるか？
• RQ2 動画レベルのラベルしか与えられていない弱教師あり設定下で、提案された時系列自己注意（TSA）機構は、異常スニペットの局所化に効果的か？
• RQ3 CLIP特徴とTSAの組み合わせは、標準的なVADベンチマークで最先端の手法と比較して、どのように性能を発揮するか？
• RQ4 微分可能top-κ注目機構は、弱教師あり異常検出におけるモデル性能をどの程度向上させるか？
• RQ5 提案手法は、異常タイプや時間的パターンが異なる多様なデータセットに一般化可能か？

主な発見

• UCF-CrimeではAUC@ROCが87.58%を達成し、前回SOTAを3.5ポイント上回った。
• ShanghaiTech CampusではAUC@ROCが98.32%を記録し、2位の手法より1.11%向上、かつ過去のSOTA手法より12.89%向上した。
• XD-ViolenceではAUC@PRが82.19%を達成し、すべてのビジョンオンリーベースラインを大きく上回り、マルチモーダルSOTA手法と同等またはそれを上回った。
• アブレーションスタディにより、CLIP特徴とTSAの両方が顕著に寄与することが確認された。TSAを削除すると、UCF-Crimeで最大1.5%、ShanghaiTechで最大1.2%の性能低下が生じた。
• CLIPをC3DやI3Dに置き換えると、UCF-CrimeとShanghaiTechで3.5〜4.5ポイントの性能低下が生じ、CLIP特徴の優位性が裏付けられた。
• 微分可能top-κ関数は、複雑なシーンにおいても常に異常領域に注目することができ、最も異常なスニペットを効果的に同定した。