[論文レビュー] An Overview of Violence Detection Techniques: Current Challenges and Future Directions

Nadia Mumtaz, Naveed Ejaz+5 more|arXiv (Cornell University)|Sep 21, 2022

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本論文は、動画監視における暴力椾出（VD）技術について包括的なサーベイを提供しており、手作業で特徴を抽出する従来の手法と、2D/3D CNN、トランスフォーマー、ハイブリッドモデルを含む現代のディーブラーニングアプローチをレビューしている。データ不足、計算コスト、現実世界における耐性の欠如といった課題を強調するとともに、エッジ対応モデル、強化学習、解釈可能なAIといった今後の方向性を提起し、実用的でリアルタイムなVDシステムの構築を促進する。

ABSTRACT

The Big Video Data generated in today's smart cities has raised concerns from its purposeful usage perspective, where surveillance cameras, among many others are the most prominent resources to contribute to the huge volumes of data, making its automated analysis a difficult task in terms of computation and preciseness. Violence Detection (VD), broadly plunging under Action and Activity recognition domain, is used to analyze Big Video data for anomalous actions incurred due to humans. The VD literature is traditionally based on manually engineered features, though advancements to deep learning based standalone models are developed for real-time VD analysis. This paper focuses on overview of deep sequence learning approaches along with localization strategies of the detected violence. This overview also dives into the initial image processing and machine learning-based VD literature and their possible advantages such as efficiency against the current complex models. Furthermore,the datasets are discussed, to provide an analysis of the current models, explaining their pros and cons with future directions in VD domain derived from an in-depth analysis of the previous methods.

研究の動機と目的

• 従来の画像処理手法から現代のディーブラーニングベースのアプローチに至るまで、暴力検出（VD）技術を体系的かつ包括的にレビューすること。
• 現在のVDモデルの限界、特に高い計算コスト、データ不足、非定常な現実世界環境における一般化性能の低さを分析すること。
• 暴力行動の効果的局所化、環境的干渉への耐性、エッジデバイス上でのリアルタイム性能といった、主な課題を特定すること。
• 強化学習、ビジョントランスフォーマー、解釈可能なAIといった未利用に近い今後の方向性を検討し、VDシステムの信頼性と解釈可能性を向上させること。

提案手法

• 3つの世代にわたるVD技術をサーベイおよび分類：従来の特徴ベース（例：HOG、モーションベクトル）、ディープラーニングベース（2D/3D CNN）、時系列モデリング（例：RNN、トランスフォーマー）。
• UCF-Crime、HMDB51、UCSD Pedestrianといったベンチマークデータセットを用いて性能を評価し、正確性、推論速度、局所化能力に注目する。
• 3D畳み込みとTimeSformerにおけるアテンションメカニズムを活用した時系列モデリングを含む、エンドツーエンドの動画分類用モデルアーキテクチャを分析する。
• 組み込みシステム向けに、モデルの複雑さ、推論遅延、量子化可能性を評価することで、エッジデプロイの可能性を検証する。
• データ量が少ない状況でも効率的で耐性のある性能を発揮するように、手作業特徴とディープラーニングを統合したハイブリッドモデルを提案する。
• ビジョントランスフォーマーによる動画理解や、動的シーンにおける適応的異常検出のための強化学習といった、新たな技術を検討する。

Figure 3 : The overall structure of the proposed survey.

実験結果

リサーチクエスチョン

• RQ1 スマートシティ監視におけるリアルタイム暴力検出システムを実装するにあたり、直面する主な技術的・計算的課題は何か？
• RQ2 手作業特徴ベースの手法とディープラーニングベースのモデルは、正確性、耐性、デプロイ可能性の観点からどのように比較されるか？
• RQ3 現在のVDモデルは、急激なシーンチェンジや隠蔽状態が生じる非定常環境をどのように処理しているのか、その限界は何か？
• RQ4 エッジコンピューティングと軽量モデルは、現実世界の監視デプロイにおいてVDシステムの実用性をどのように向上させ得るか？
• RQ5 ビジョントランスフォーマー、強化学習、解釈可能なAIといった新たな技術は、将来的なVDシステムの性能と信頼性をどのように向上させ得るか？

主な発見

• HOG やモーションベクトルといった手作業特徴に依存する従来のVD手法は、計算コストが低く効率的であるが、複雑な運動パターンや環境変動に対しては耐性に欠ける。
• 2Dおよび3D CNNベースのモデルは、標準データセットでは高い正確性を達成しているが、現実世界の動的環境では計算コストが高く、一般化性能が低い。
• TimeSformer などのビジョントランスフォーマーは、動画行動認識タスクで優れた性能を示しており、VDにおける時間的モデリングの向上に潜在的である。
• 現在のモデルは暴力行動の局所化を効果的に実行できないことが多く、共同検出と局所化を統合したフレームワークの必要性が浮き彫りになっている。
• 主流のディープラーニングモデルの推論コストが高いため、エッジデプロイは依然として大きな課題であり、軽量かつ量子化可能なアーキテクチャの開発が不可欠である。
• 強化学習や解釈可能なAIといった今後の方向性は、現在は未利用に近いが、現実世界のVDシステムにおける適応性と解釈可能性の向上に可能性を秘めている。

Figure 5 : The overall process of research articles retrieval from different databases.