[論文レビュー] Video Vision Transformers for Violence Detection

Sanskar Singh, Shivaibhav Dewangan+4 more|arXiv (Cornell University)|Sep 8, 2022

Anomaly Detection Techniques and Applications被引用数 8

ひとこと要約

本論文は、空間的・時間的アテンションとデータ拡張を活用して限られたデータセットでも性能を向上させる、エンドツーエンドのビデオビジョントランスフォーマー（ViViT）ベースの自動暴力検出フレームワークを提案する。Hockey Fightデータセットでは97.14%、Crowd Fightデータセットでは98.46%の最先端の正確性を達成し、従来のCNNベースの手法に比べて優れた汎化性能と計算効率を示した。

ABSTRACT

Law enforcement and city safety are significantly impacted by detecting violent incidents in surveillance systems. Although modern (smart) cameras are widely available and affordable, such technological solutions are impotent in most instances. Furthermore, personnel monitoring CCTV recordings frequently show a belated reaction, resulting in the potential cause of catastrophe to people and property. Thus automated detection of violence for swift actions is very crucial. The proposed solution uses a novel end-to-end deep learning-based video vision transformer (ViViT) that can proficiently discern fights, hostile movements, and violent events in video sequences. The study presents utilizing a data augmentation strategy to overcome the downside of weaker inductive biasness while training vision transformers on a smaller training datasets. The evaluated results can be subsequently sent to local concerned authority, and the captured video can be analyzed. In comparison to state-of-theart (SOTA) approaches the proposed method achieved auspicious performance on some of the challenging benchmark datasets.

研究の動機と目的

• 監視ビデオにおけるリアルタイムの暴力検出のためのエンドツーエンドのディープラーニングフレームワークの開発。
• ビデオビジョントランスフォーマーにおける限られた学習データの課題を、効果的なデータ拡張戦略を用いて解決すること。
• 人物同士の争いや群衆による衝突を含む多様な暴力状況における汎化性能の向上。
• 従来のCNNベースのアプローチに比べ、より高い正確性と計算効率を達成すること。
• リアルタイムのビデオ分析を通じて、法執行警察機関や公共安全システムに迅速な自動アラートを提供すること。

提案手法

• モデルは、ビデオクリップを空間的・時間的パッチの系列として処理するビデオビジョントランスフォーマー（ViViT）アーキテクチャを採用する。
• 入力ビデオクリップは、サイズ(8,8,8)の3次元パッチに分割され、線形埋め込みが施され、位置エンコーディングが適用される。
• 空間的・時間的トークンは、空間的・時間的依存関係を長距離にわたり捉えるために、マルチヘッド自己アテンションを備えたトランスフォーマー畳み込みエンコーダーレイヤーのスタックに供給される。
• 小規模なデータセットにおけるViTの弱いインダクティブバイアスを軽減するため、データ拡張戦略が適用される。
• 最終的な分類ヘッドは、[CLS]トークン表現に基づき、学習された分類ヘッドを用いて二値予測（暴力的／非暴力的）を出力する。
• パッチサイズ、学習率、重み減衰、レイヤー数といったハイパーパrameterは、反復的検証を用いて最適化され、性能の最適化が図られる。

実験結果

リサーチクエスチョン

• RQ1 従来のCNNベースのモデルに比べ、ビデオビジョントランスフォーマー（ViViT）アーキテクチャが暴力検出において優れた性能を発揮できるか？
• RQ2 データ拡張は、小規模な暴力検出データセットにおけるViTの性能向上にどの程度効果的か？
• RQ3 提案されたモデルは、人物同士の争いや群衆による暴力を含む、さまざまな種類の暴力的出来事に汎化可能か？
• RQ4 マルチヘッド自己アテンションやパッチベース処理といったアーキテクチャ的要素が、ビデオ分類における空間的・時間的特徴学習に与える影響は何か？
• RQ5 ベンチマークデータセットにおいて、モデルの正確性と学習安定性は最先端の手法と比べてどうか？

主な発見

• 提案されたViViTベースのモデルは、Hockey Fightデータセットで96.57%の訓練正確性と97.14%の検証正確性を達成した。
• Crowd Fightデータセットでは、98.73%の訓練正確性と98.46%の検証正確性に達し、先行する最先端手法を上回った。
• 訓練損失と検証損失の差が小さく、安定した学習曲線を示し、良好な汎化性能と顕著な過学習の兆候がないことを示した。
• 両データセットにおいて、精度、再現率、F1スコアの指標が一貫して高く、全体の正確性を超えた堅牢な分類器の性能を確認した。
• 3D-CNN、CNN+LSTM、アンサンブルモデルを含む、リストアップされたすべての最先端手法を、両ベンチマークデータセットで上回った。
• アーキテクチャは計算効率とスケーラビリティに優れており、監視システムにおけるリアルタイム配備に適している。