[論文レビュー] Video Anomaly Detection and Explanation via Large Language Models

Hui Lv, Qianru Sun|arXiv (Cornell University)|Jan 11, 2024

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、しきい値依存性を排除し、検出された異常のテキスト的説明を提供するために、ビデオベースの巨大言語モデル（VLLM）を活用するビデオ異常検出フレームワーク、VAD-LLaMAを提案する。長期間のビデオ理解を向上させるためのLong-Term Context（LTC）モジュールと、データおよびアノテーションコストを低減するための三段階訓練手法を導入することで、UCF-Crimeで88.13%、TADで91.77%の最先端のAUCスコアを達成し、説明可能な異常検出が可能である。

ABSTRACT

Video Anomaly Detection (VAD) aims to localize abnormal events on the timeline of long-range surveillance videos. Anomaly-scoring-based methods have been prevailing for years but suffer from the high complexity of thresholding and low explanability of detection results. In this paper, we conduct pioneer research on equipping video-based large language models (VLLMs) in the framework of VAD, making the VAD model free from thresholds and able to explain the reasons for the detected anomalies. We introduce a novel network module Long-Term Context (LTC) to mitigate the incapability of VLLMs in long-range context modeling. We design a three-phase training method to improve the efficiency of fine-tuning VLLMs by substantially minimizing the requirements for VAD data and lowering the costs of annotating instruction-tuning data. Our trained model achieves the top performance on the anomaly videos of the UCF-Crime and TAD benchmarks, with the AUC improvements of +3.86\% and +4.96\%, respectively. More impressively, our approach can provide textual explanations for detected anomalies.

研究の動機と目的

• スコアベースの手法に起因する制限を克服し、しきい値フリーかつ本質的に説明可能なビデオ異常検出（VAD）システムの開発。
• 長時間の監視ビデオにおいて、既存のVLLMが有する長距離コンテキストモデリング能力の低さを解決すること。
• 効率的な三段階訓練戦略を設計することで、大規模かつドメイン特化型のVADアノテーションへの依存度を低減すること。
• VLLMが人間の認識と整合する形で、無関係な物体を異常と特定するのではなく、異常を検出し説明できるようにすること。
• 弱教師ありVADベンチマークで最先端の性能を達成するとともに、マルチターン対話ベースの異常説明を提供すること。

提案手法

• トップ-K個の最も正常で、異常なビデオクリップ特徴量をオンラインで保持するLong-Term Context（LTC）モジュールを導入し、クロスアテンションと重み付き和の演算を用いてビデオ表現を豊かにする。
• 三段階訓練パイプラインを採用する：(1) ベースラインVADorの事前学習、(2) 自己生成された異常スコアを用いたVADorとLTCの共同学習、(3) 合成された指示テンプレートを用いたVLLMのファインチューニング。
• Video-LLaMAのビデオエンコーダーから抽出されたビデオクリップ特徴量をVADorの入力として用い、人為的アノテーションデータを最小限に抑えたエンドツーエンドの学習を可能にする。
• ベースラインVADorからの自己教師的異常スコア生成を活用し、人為的アノテーションの負荷を最小限に抑えた合成された指示チューニングデータセットを構築する。
• 推論時にリアルタイムで更新される動的リスト更新メカニズムを採用し、各新しいクリップが評価され、正常／異常特徴量リストが即座に更新される。
• テキストテンプレートを用いてVLLMのための指示チューニングデータを生成し、'異常がありますか？' や '異常の理由は何ですか？' といった質問に応答できるようにする。

Figure 1 : Prediction scores from a baseline VAD model, and clip descriptions by using VLLMs, for a car accident video (as shown in the middle of the figure). On the score curve, the red dashed lines denote anomaly thresholds. The bottom shows the answers from Video-LLaMA [ 24 ] by feeding it with t

実験結果

リサーチクエスチョン

• RQ1 VLLMをVADに効果的に統合することで、しきい値フリーかつ説明可能な異常検出を実現できるか？
• RQ2 VLLMは通常短い動画で事前学習されているが、長期間の動画コンテキストに適応させるにはどうすればよいか？
• RQ3 三段階訓練戦略により、高価なVADアノテーションの必要性を著しく低減できるか？
• RQ4 長期間の正常および異常コンテキストを組み込むことで、異常検出のロバスト性と説明可能性が向上するか？
• RQ5 モデルは人間の認識と整合した説明を生成でき、たとえば「車両事故」のような真の異常を正しく特定し、関係のない物体を誤って異常と特定しないか？

主な発見

• 提案されたVAD-LLaMAは、UCF-Crimeベンチマークで88.13%という新たな最先端のAUCを達成し、TADでは+2.26%、UCF-Crimeでは+0.85%の上回りを記録した。
• ベースラインと比較して、UCF-Crimeで+3.86%、TADで+4.96%のAUC向上を達成し、LTCモジュールおよび訓練戦略の有効性を実証した。
• アブレーションスタディにより、LTCモジュールで正常および異常コンテキストリストの両方を用いることで最高の性能が得られ、K=4が最適なリスト長であることが確認された。
• クラス別分析では、文脈的推論を要する長距離異常クラス（例：「放火」「スリ」）において、ベースラインを著しく上回る性能を示した。
• マルチターン対話形式で、正確で人間と整合した説明を生成し、たとえば「車両事故」のような原因を正しく特定する一方で、関係のない物体に対して誤検出を回避した。
• 三段階訓練法により、指示チューニングデータの手動アノテーションの必要性が削減され、限られたVADデータセット上でVLLMの効率的ファインチューニングが可能になった。

Figure 2 : The network architecture of the proposed VAD-LLaMA. It consists of a Video Anomaly Detector (VADor) with the Long-Term Context (LTC) module and a simple Anomaly Predictor (AP), a projection layer (called Adaptor), and the pre-trained Video-LLaMA [ 24 ] (composed by a Video Encoder (VE) an