[論文レビュー] VadCLIP: Adapting Vision-Language Models for Weakly Supervised Video Anomaly Detection

Peng Wu, Xuerong Zhou+5 more|arXiv (Cornell University)|Aug 22, 2023

Viral Infections and Outbreaks Research被引用数 8

ひとこと要約

VadCLIP は凍結済みの CLIP モデルを活用し、 coarse-grained 分類と fine-grained ビジョン言語整合を両立する dual-branch 設計で weakly supervised 動画異常検知を実行し、XD-Violence と UCF-Crime で最先端の結果を達成します。

ABSTRACT

The recent contrastive language-image pre-training (CLIP) model has shown great success in a wide range of image-level tasks, revealing remarkable ability for learning powerful visual representations with rich semantics. An open and worthwhile problem is efficiently adapting such a strong model to the video domain and designing a robust video anomaly detector. In this work, we propose VadCLIP, a new paradigm for weakly supervised video anomaly detection (WSVAD) by leveraging the frozen CLIP model directly without any pre-training and fine-tuning process. Unlike current works that directly feed extracted features into the weakly supervised classifier for frame-level binary classification, VadCLIP makes full use of fine-grained associations between vision and language on the strength of CLIP and involves dual branch. One branch simply utilizes visual features for coarse-grained binary classification, while the other fully leverages the fine-grained language-image alignment. With the benefit of dual branch, VadCLIP achieves both coarse-grained and fine-grained video anomaly detection by transferring pre-trained knowledge from CLIP to WSVAD task. We conduct extensive experiments on two commonly-used benchmarks, demonstrating that VadCLIP achieves the best performance on both coarse-grained and fine-grained WSVAD, surpassing the state-of-the-art methods by a large margin. Specifically, VadCLIP achieves 84.51% AP and 88.02% AUC on XD-Violence and UCF-Crime, respectively. Code and features are released at https://github.com/nwpu-zxr/VadCLIP.

研究の動機と目的

• 大規模なビジョン-言語事前学習 (CLIP) を弱教師あり動画異常検知 (WSVAD) に再学習なしで適応する方法を探る。
• 粗粒度および細粒度の時間情報と意味情報を、クロスモーダル手掛かりを用いて捉える。
• 弱教師ありの下で CLIP の性能を維持しつつ、ビジョン-言語の関連性を活用する。

提案手法

• Local-Global Temporal Adapter (LGT-Adapter) を導入し、局所およびグローバルな時間依存性を効率的にモデリングする。
• デュアルブランチアーキテクチャを展開：C-Branch は粗粒度の二値異常検知、A-Branch は CLIP のテキストエンコーダを用いた細粒度のビジョン-言語整合。
• 学習可能なプロンプトと異常に焦点を当てた視覚プロンプトを使用して、CLIP 内のテキストラベルと視覚コンテキストを適応させる。
• MIL-Align を適用し、弱教師ありの下でフレームレベルの整合を最適化：ラベルごとに上位K フレーム-テキストの一致を選択。
• CLIP の画像エンコーダとテキストエンコーダを凍結したまま；勾配をアダプターとプロンプトモジュールへバックプロパゲーション。
• 三つの損失を組み合わせる：動画レベル予測のバイナリ交差エントロピー、MIL に基づく整合損失、正常クラスと異常クラス埋め込み間のコントラスト損失。

実験結果

リサーチクエスチョン

• RQ1 backbone を再学習させずに、CLIP をどのように効果的な弱教師あり動画異常検知へ適応させられるか。
• RQ2 粗粒度分類と細粒度のビジョン-言語整合を両立するデュアルブランチ設計は WSVAD を改善できるか。
• RQ3 Prompts、Prompts + Visual Prompts、LGT-Adapter のどの機構が CLIP の知識を最もうまく WSVAD タスクへ転移させるか。
• RQ4 弱教師ありの下でビジョン-言語整合を最適化し、事前学習知識を保持しつつ異常を識別するにはどうすべきか。

主な発見

• VadCLIP は XD-Violence で 84.51% AP、UCF-Crime で 88.02% AUC を達成し、両ベンチマークで新たな最先端を確立。
• デュアルブランチ設計により、一つのモデル内で粗粒度および細粒度の WSVAD を実現。
• 学習可能なプロンプトは、CLIP 知識を WSVAD へ転移する際、手作業のプロンプトより優れている。
• 異常焦点型視覚プロンプトと LGT-Adapter は時系列モデリングと整合性の性能を大幅に向上。
• MIL-Align およびクロスモーダル整合により、CLIP を凍結したまま fine-grained および coarse-grained の性能が向上。