[論文レビュー] Detecting Violence in Video Based on Deep Features Fusion Technique

Heyam M. Bin Jahlan, Lamiaa A. Elrefaei|arXiv (Cornell University)|Apr 15, 2022

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本論文は、2つの異なる畳み込みニューラルネットワーク（AlexNet と SqueezeNet）の特徴を統合することで、動画内の暴力行動を自動検出するための深層学習手法を提案する。各ネットワークの出力にそれぞれConvLSTMを適用し、時空間的特徴を抽出する。統合された特徴はプーリングされ、全結合層を介して分類される。Hockey Fight、Movie、Violent Flowの各データセットで、それぞれ97%、100%、96%の精度を達成し、最先端の手法を上回る性能を示した。

ABSTRACT

With the rapid growth of surveillance cameras in many public places to mon-itor human activities such as in malls, streets, schools and, prisons, there is a strong demand for such systems to detect violence events automatically. Au-tomatic analysis of video to detect violence is significant for law enforce-ment. Moreover, it helps to avoid any social, economic and environmental damages. Mostly, all systems today require manual human supervisors to de-tect violence scenes in the video which is inefficient and inaccurate. in this work, we interest in physical violence that involved two persons or more. This work proposed a novel method to detect violence using a fusion tech-nique of two significantly different convolutional neural networks (CNNs) which are AlexNet and SqueezeNet networks. Each network followed by separate Convolution Long Short Term memory (ConvLSTM) to extract ro-bust and richer features from a video in the final hidden state. Then, making a fusion of these two obtained states and fed to the max-pooling layer. Final-ly, features were classified using a series of fully connected layers and soft-max classifier. The performance of the proposed method is evaluated using three standard benchmark datasets in terms of detection accuracy: Hockey Fight dataset, Movie dataset and Violent Flow dataset. The results show an accuracy of 97%, 100%, and 96% respectively. A comparison of the results with the state of the art techniques revealed the promising capability of the proposed method in recognizing violent videos.

研究の動機と目的

• 監視映像における暴力行動の手作業による検出の非効率性と不正確さを是正すること。
• 2人以上の人物が関与する身体的暴力を検出できる自動化されたシステムの開発。
• 2つの異なる畳み込みニューラルネットワークから得られる補完的特徴を統合することで、検出精度の向上を図ること。
• 標準ベンチマークデータセットを用いて、性能の堅牢な評価を実施すること。

提案手法

• 動画フレームから多様な視覚的パターンを捉えるために、AlexNet と SqueezeNet を別々の特徴抽出器として使用する。
• 各CNNの出力にConvLSTMネットワークを適用し、動画シーケンスからの時系列的ダイナミクスをモデル化し、強固な時空間的特徴を抽出する。
• 両方のConvLSTMネットワークの最終隠れ状態を統合して、補完的表現を組み合わせる。
• 統合された特徴表現に対して最大プーリング層を適用し、次元削減と識別能の向上を図る。
• プーリングされた特徴を、全結合層を介して分類し、最終的な暴力予測のためにソフトマックス分類器を適用する。

実験結果

リサーチクエスチョン

• RQ1 2つの異なるCNNアーキテクチャの統合は、動画シーケンスにおける暴力検出精度を向上させることができるか？
• RQ2 複数のCNNとConvLSTMを統合することで、暴力行動の時空間的ダイナミクスをどれほど効果的に捉えることができるか？
• RQ3 提案された特徴統合戦略は、標準的な暴力検出ベンチマークで既存の手法を上回る性能を示すか？
• RQ4 本手法のハイブリッド深層学習アーキテクチャは、実世界の動画データセットでどの程度の精度を達成できるか？

主な発見

• 提案手法はHockey Fightデータセットで97%の検出精度を達成し、スポーツ関連の暴力行動に対して優れた性能を示した。
• Movieデータセットでは100%の精度に達し、編集済みの映画的暴力シーケンスに対する優れた一般化性能を示した。
• Violent Flowデータセットでは96%の精度を記録し、多様な動画コンテンツにわたる堅牢性を確認した。
• AlexNet と SqueezeNet の特徴をConvLSTMで統合した戦略が、暴力認識タスクにおいて最先端の技術を上回った。