[論文レビュー] Two-stream Multi-dimensional Convolutional Network for Real-time Violence Detection

Dipon Kumar Ghosh, Amitabha Chakrabarty|arXiv (Cornell University)|Nov 8, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本論文では、リアルタイムで暴力行動を検出するための軽量な2ストリーム多次元畳み込みニューラルネットワーク（2s-MDCN）を提案する。同じ空間時間的位置から、1次元、2次元、3次元畳み込みを並列に適用することで、空間的および時間的特徴を抽出し、情報損失を低減する。本モデルは、RWF-2000データセットで89.7%の最先端の精度を達成しており、パラメータ数は0.92M、計算複雑度は8.97 GFLOPsにとどまる。

ABSTRACT

The increasing number of surveillance cameras and security concerns have made automatic violent activity detection from surveillance footage an active area for research. Modern deep learning methods have achieved good accuracy in violence detection and proved to be successful because of their applicability in intelligent surveillance systems. However, the models are computationally expensive and large in size because of their inefficient methods for feature extraction. This work presents a novel architecture for violence detection called Two-stream Multi-dimensional Convolutional Network (2s-MDCN), which uses RGB frames and optical flow to detect violence. Our proposed method extracts temporal and spatial information independently by 1D, 2D, and 3D convolutions. Despite combining multi-dimensional convolutional networks, our models are lightweight and efficient due to reduced channel capacity, yet they learn to extract meaningful spatial and temporal information. Additionally, combining RGB frames and optical flow yields 2.2% more accuracy than a single RGB stream. Regardless of having less complexity, our models obtained state-of-the-art accuracy of 89.7% on the largest violence detection benchmark dataset.

研究の動機と目的

• 監視システムにおけるリアルタイム暴力検出のための従来の深層学習モデルの非効率さと高い計算コストを解消すること。
• 空間的および時間的特徴を逐次的ではなく同時に処理することで、空間時間的特徴抽出中の情報損失を低減すること。
• エッジデバイス（例：Jetson Nano）へのデプロイに適した、軽量かつ高精度なモデルの開発。
• モデルの複雑さを著しく増加させることなく、RGBとオプティカルフローのストリームを融合することで検出精度を向上させること。
• 今後のリアルタイム暴力行動検出分野の研究における強力で効率的なベースラインを確立すること。

提案手法

• RGBフレームとオプティカルフローの別々のブランチを持つ2ストリームアーキテクチャを採用し、空間的および運動情報の並列処理を可能にする。
• 個々のフレームに対して2次元および1次元畳み込みを用いて空間的特徴を抽出し、連続するフレームにわたる3次元畳み込みにより時間的ダイナミクスを捉える。
• 1次元、2次元、3次元畳み込み層の統合により、同じ空間時間的位置からマルチスケール・マルチ次元特徴の学習が可能となる。
• 2つのストリームからの特徴マップを連結し、最終分類のための全結合層へ入力する。
• チャネル容量の低減と効率的なアーキテクチャ設計により、パラメータ数と計算コストを最小限に抑える。
• 過学習を防ぐために、学習損失と検証損失の曲線から観察されるように、早期停止を用いたクロスエントロピー損失による学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 2ストリーム多次元CNNアーキテクチャは、逐次処理と比較して、リアルタイム暴力検出のための空間時間的特徴抽出をどのように改善するか？
• RQ2 RGBとオプティカルフロー入力を統合することで、計算コストを抑えながら検出精度にどのような影響を与えるか？
• RQ3 軽量モデルが、RWF-2000のような大規模な暴力検出ベンチマークで、どの程度最先端の性能を達成できるか？
• RQ4 Jetson Nanoなどのエッジデバイス上での推論速度とデプロイ可能性において、提案された2s-MDCNはどのように性能を発揮するか？
• RQ5 従来の逐次的特徴抽出と比較して、空間的および時間的特徴を並列で抽出することで、情報損失がどの程度低減されるか？

主な発見

• 2s-MDCNモデルは、RWF-2000ベンチマークデータセットで89.7%という最先端の精度を達成し、FlowGate（統合）を上回った。
• RGBとオプティカルフローのストリーム統合により、RGBフレーム単体を使用した場合と比較して、精度が2.2%向上した。
• Hockey-fightデータセットでは100.0%、Movies-fightデータセットでは99.0%の精度を達成し、異なるデータセットへの汎化性能が優れていることが示された。
• パラメータ数が0.92M、計算複雑度が8.97 GFLOPsにとどまる一方で、FlowGate（16.98 GFLOPs）よりもはるかに効率的であり、かつ高い精度を達成した。
• Jetson Nanoエッジデバイス上では、RGB入力のみで80 FPSで動画処理が可能であり、FlowGate（58.18 FPS）を37%以上上回った。
• 学習が安定しており、25〜35エポックの間わずかな過学習が観察されたが、学習が進むにつれて解消された。