[論文レビュー] SSIVD-Net: A Novel Salient Super Image Classification & Detection Technique for Weaponized Violence

Toluwani Aremu, Zhiyuan Li+3 more|arXiv (Cornell University)|Jul 26, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本論文は、3次元監視ビデオを2次元の顕著スーパーサイズ画像に変換することで、暴力椾出を簡素化するとともに計算負荷と情報損失を低減する、新しい顕著スーパーサイズ画像表現手法であるSSIVD-Netを提案する。この手法は最先端の性能を達成し、MovieFightおよびHockeyFightデータセットでは100%の正確度を達成し、RWF-2000では90.3%を記録した。また、実世界のスマートシティへの展開に適したコンactな効率的な顕著分類器アーキテクチャが設計されている。

ABSTRACT

Detection of violence and weaponized violence in closed-circuit television (CCTV) footage requires a comprehensive approach. In this work, we introduce the \emph{Smart-City CCTV Violence Detection (SCVD)} dataset, specifically designed to facilitate the learning of weapon distribution in surveillance videos. To tackle the complexities of analyzing 3D surveillance video for violence recognition tasks, we propose a novel technique called \emph{SSIVD-Net} ( extbf{S}alient- extbf{S}uper- extbf{I}mage for extbf{V}iolence extbf{D}etection). Our method reduces 3D video data complexity, dimensionality, and information loss while improving inference, performance, and explainability through salient-super-Image representations. Considering the scalability and sustainability requirements of futuristic smart cities, the authors introduce the \emph{Salient-Classifier}, a novel architecture combining a kernelized approach with a residual learning strategy. We evaluate variations of SSIVD-Net and Salient Classifier on our SCVD dataset and benchmark against state-of-the-art (SOTA) models commonly employed in violence detection. Our approach exhibits significant improvements in detecting both weaponized and non-weaponized violence instances. By advancing the SOTA in violence detection, our work offers a practical and scalable solution suitable for real-world applications. The proposed methodology not only addresses the challenges of violence detection in CCTV footage but also contributes to the understanding of weapon distribution in smart surveillance. Ultimately, our research findings should enable smarter and more secure cities, as well as enhance public safety measures.

研究の動機と目的

• 監視システムにおける武器を装備した暴力検出のための専用データセットの不足に対処する。
• 性能を損なうことなく、3次元ビデオ分析の計算複雑性と次元数を低減する。
• リアルタイムのスマートシティ監視における、武器を装備したおよび非武器を装備した暴力検出の正確性と説明可能性を向上させる。
• リソース制限のある都市環境に適したスケーラブルで低炭素かつ効率的なディープラーニングモデルを開発する。
• 事前に定義されたカテゴリを超えた多様な物体が武器として使用される状況をカバーするオープンワールドの武器検出を可能にする。

提案手法

• 空間的および時間的顕著性に基づいて、最も判別能の高いフレームを選択・集約することで、3次元ビデオクリップを2次元の顕著スーパーサイズ画像に変換するデータ中心のアプローチを提案する。
• 核化特徴抽出とリプルス学習を組み合わせた、特徴表現とモデル効率性を向上させる新しいCNNアーキテクチャ「顕著分類器」を導入する。
• キーフレームから構築するためのグリッドベースのサンプリング戦略（例：30fpsのSCVDビデオでは6×5、12fpsのベンチマークビデオでは4×3）を用いる。
• 可変フレームレートのビデオ間で一貫したフレームレートを確保するため、均一サンプリングを適用し、安定したモデル学習を可能にする。
• 収束までに30～50エポックを用いて、SCVDデータセットおよびベンチマークデータセット（MovieFight、HockeyFight、RWF-2000）で顕著分類器を学習する。
• 性能と複雑さのトレードオフを最適化するために、変種（SaliNet-2m、2b、2n）を比較し、SaliNet-2mが最適であると特定した。

実験結果

リサーチクエスチョン

• RQ1 3次元ビデオデータの2次元画像ベースの表現は、計算複雑性を低減しつつ、暴力検出に必要な重要な空間時間的特徴を保持できるか？
• RQ2 従来のスーパーサイズ画像手法と比較して、顕著スーパーサイズ画像変換は情報保持性とデータ次元数の低減性においてどのように優れているか？
• RQ3 顕著分類器は、武器を装備したおよび非武器を装備した暴力検出において、最先端の3次元CNNやハイブリッドモデル（例：I3D、Conv-LSTM）をどれほど上回るか？
• RQ4 実世界の展開において正確性、効率性、スケーラビリティをバランスさせるために、顕著分類器の最適なモデル容量は何か？
• RQ5 提案手法は、照明条件、遮蔽、フレームレートの違いが生じる多様なデータセットに一般化可能か？

主な発見

• アブレーションスタディにより、標準的なスーパーサイズ画像手法と比較して、顕著スーパーサイズ画像表現は情報損失を顕著に低減していることが確認された。
• 顕著分類器は、MovieFightおよびHockeyFightデータセットで100%の正確度を達成し、多様なビデオコンテンツにおける戦闘シーン検出の強靭性を示した。
• より困難なRWF-2000ベンチマークでは、最良のパフォーマンスを示した変種（SaliNet-2n）が90.3%の正確度を達成し、既存の最先端モデルを上回った。
• SaliNet-2mは、性能と複雑さの比において最良のバランスを示し、より大きなバージョン（SaliNet-2bおよびSaliNet-2n）を上回る性能-複雑さ比を達成した。
• 3次元CNNやハイブリッドモデルと比較して、提案手法は計算負荷と炭素排出量を低減しており、持続可能なスマートシティ応用に適していることが示された。
• 遮蔽や可変照明の複雑な状況下でも、武器を装備した暴力の検出が効果的に行えることが示され、実用的妥当性が強調された。