[논문 리뷰] SSIVD-Net: A Novel Salient Super Image Classification & Detection Technique for Weaponized Violence

Toluwani Aremu, Zhiyuan Li외 3명|arXiv (Cornell University)|2022. 07. 26.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 3D 감시 영상을 2D 급상승-초상 이미지로 변환하여 폭력 탐지의 단순화와 함께 계산 부담과 정보 손실을 줄이는 새로운 급상승-초상 이미지 표현 기법인 SSIVD-Net을 제안한다. 이 방법은 최신 기술 수준의 성능을 달성하여 MovieFight 및 HockeyFight 데이터셋에서 100% 정확도를 기록하고 RWF-2000에서 90.3%의 정확도를 달성하며, 실생활 스마트 시티 구현을 고려한 컴act하고 효율적인 급상승-분류기 아키텍처를 설계하였다.

ABSTRACT

Detection of violence and weaponized violence in closed-circuit television (CCTV) footage requires a comprehensive approach. In this work, we introduce the \emph{Smart-City CCTV Violence Detection (SCVD)} dataset, specifically designed to facilitate the learning of weapon distribution in surveillance videos. To tackle the complexities of analyzing 3D surveillance video for violence recognition tasks, we propose a novel technique called \emph{SSIVD-Net} ( extbf{S}alient- extbf{S}uper- extbf{I}mage for extbf{V}iolence extbf{D}etection). Our method reduces 3D video data complexity, dimensionality, and information loss while improving inference, performance, and explainability through salient-super-Image representations. Considering the scalability and sustainability requirements of futuristic smart cities, the authors introduce the \emph{Salient-Classifier}, a novel architecture combining a kernelized approach with a residual learning strategy. We evaluate variations of SSIVD-Net and Salient Classifier on our SCVD dataset and benchmark against state-of-the-art (SOTA) models commonly employed in violence detection. Our approach exhibits significant improvements in detecting both weaponized and non-weaponized violence instances. By advancing the SOTA in violence detection, our work offers a practical and scalable solution suitable for real-world applications. The proposed methodology not only addresses the challenges of violence detection in CCTV footage but also contributes to the understanding of weapon distribution in smart surveillance. Ultimately, our research findings should enable smarter and more secure cities, as well as enhance public safety measures.

연구 동기 및 목표

• 감시 시스템에서 무기 사용 폭력 탐지를 위한 전용 데이터셋 부족 문제를 해결한다.
• 성능을 희생시키지 않은 채 3D 영상 분석의 계산 복잡도와 차원 수를 감소시킨다.
• 실시간 스마트 시티 감시 환경에서 무기 사용 및 비무기 사용 폭력 탐지의 정확도와 설명 가능성을 향상시킨다.
• 자원 제약이 있는 도시 환경에 적합한 확장성 있고 저탄소이며 효율적인 딥 러닝 모델을 개발한다.
• 사전 정의된 카테고리 외의 다양한 물체를 무기로 사용하는 상황까지 포괄하는 개방형 무기 탐지 기능을 실현한다.

제안 방법

• 공간적 및 시간적 급상승도를 기반으로 가장 구분력 있는 프레임을 선택하고 집계하여 3D 영상 클립을 2D 급상승-초상 이미지로 변환하는 데이터 중심적 접근법을 제안한다.
• 핵심 기반 특징 추출과 잔차 학습을 융합한 새로운 CNN 아키텍처인 급상승-분류기(Salient-Classifier)를 도입하여 특징 표현력과 모델 효율성을 향상시킨다.
• 핵심 프레임에서 급상승-초상 이미지를 구성하기 위해 격자 기반 샘플링 전략(예: 30fps SCVD 영상에 6×5, 12fps 벤치마크 영상에 4×3)을 적용한다.
• 다양한 프레임 레이트를 가진 영상 간 일관된 프레임 레이트를 확보하기 위해 균일 샘플링을 적용하여 안정적인 모델 훈련을 가능하게 한다.
• 30~50 에포크 동안 수렴할 수 있도록 SCVD 데이터셋 및 벤치마크 데이터셋(MovieFight, HockeyFight, RWF-2000)에서 급상승-분류기를 훈련시킨다.
• 다양한 변종(SaliNet-2m, 2b, 2n)을 비교하여 성능과 복잡도 간 최적의 균형을 이룬 SaliNet-2m를 최적의 모델로 식별한다.

실험 결과

연구 질문

• RQ1 3D 영상 데이터의 2D 이미지 기반 표현 방식이 계산 복잡도를 감소시키면서도 폭력 탐지에 필수적인 시공간적 특징을 유지할 수 있는가?
• RQ2 기존의 슈퍼-이미지 방법과 비교해 급상승-초상 이미지 변환 방식이 정보 유지 능력과 데이터 차원 감소 능력에서 얼마나 우수한가?
• RQ3 급상승-분류기가 무기 사용 및 비무기 사용 폭력 탐지에서 기존 최신 기술 수준의 3D-CNN 및 하이브리드 모델(I3D, Conv-LSTM 등)을 얼마나 뛰어넘는가?
• RQ4 실제 도입 환경에서 정확도, 효율성, 확장성 간 균형을 고려할 때 급상승-분류기의 최적 모델 용량은 무엇인가?
• RQ5 제안된 방법이 다양한 조명 조건, 가림 현상, 프레임 레이트 변화가 존재하는 다양한 데이터셋에 대해 일반화 가능한가?

주요 결과

• 비교 실험 결과에 따르면, 표준 슈퍼-이미지 방법 대비 급상승-초상 이미지 표현 방식이 정보 손실를 크게 감소시켰다.
• 급상승-분류기는 MovieFight 및 HockeyFight 데이터셋에서 100% 정확도를 달성하여 다양한 영상 콘텐츠에서 싸움 장면 탐지에 뛰어난 강건성을 보였다.
• 더 어려운 RWF-2000 벤치마크에서 최고 성능을 보인 변종(SaliNet-2n)은 90.3%의 정확도를 기록하여 기존 최신 기술 수준 모델을 초월했다.
• SaliNet-2m는 성능 대 복잡도 비율 측면에서 더 큰 변종(SaliNet-2b 및 SaliNet-2n)을 능가하여 모델 용량과 추론 효율성 간 최적의 균형을 확보했다.
• 3D-CNN 및 하이브리드 모델 대비 계산 부담과 탄소 배출량을 줄여 지속 가능한 스마트 시티 응용에 적합함을 입증했다.
• 복잡한 상황에서도 가림 현상과 다양한 조명 조건이 존재하는 환경에서도 무기 사용 폭력 탐지에 효과적으로 기여함을 입증하여 실용적 타당성을 입증했다.