[논문 리뷰] Detecting Violence in Video using Subclasses

Xirong Li, Yujia Huo외 2명|arXiv (Cornell University)|2016. 04. 27.

Human Pose and Action Recognition참고 문헌 14인용 수 5

한 줄 요약

이 논문은 다중모달 특징 융합을 향상시키기 위해 10개의 시각적으로 구분 가능한 폭력 하위클래스에 대한 세분화된 애너테이션을 도입하여 비디오 폭력 탐지에 하위클래스 기반 접근법을 제안한다. 이러한 하위클래스를 활용함으로써, 이 방법은 MediaEval 2015 테스트 세트에서 AP 0.303과 P100 0.55를 달성하여 최신 기술을 초월하며, 하위클래스가 사용될 경우 운동 특징이 불필요하다는 것을 입증한다.

ABSTRACT

This paper attacks the challenging problem of violence detection in videos. Different from existing works focusing on combining multi-modal features, we go one step further by adding and exploiting subclasses visually related to violence. We enrich the MediaEval 2015 violence dataset by \emph{manually} labeling violence videos with respect to the subclasses. Such fine-grained annotations not only help understand what have impeded previous efforts on learning to fuse the multi-modal features, but also enhance the generalization ability of the learned fusion to novel test data. The new subclass based solution, with AP of 0.303 and P100 of 0.55 on the MediaEval 2015 test set, outperforms several state-of-the-art alternatives. Notice that our solution does not require fine-grained annotations on the test set, so it can be directly applied on novel and fully unlabeled videos. Interestingly, our study shows that motion related features, though being essential part in previous systems, are dispensable.

연구 동기 및 목표

• 학습 세트와 테스트 세트 간의 하위클래스 분포 간극을 분석하여 다양한 데이터셋 간에 폭력 탐지 모델을 일반화하는 데 도전하는 것.
• 이론적으로 유리한 점이 있음에도 불구하고 이전 연구에서 학습-융합 방법이 성능이 열등했던 이유를 조사하는 것.
• 세분화된 하위클래스 애너테이션을 도입하고 활용하여 폭력 탐지의 일반화 능력과 성능을 향상시키는 것.
• 하위클래스를 고려할 경우 시각, 청각, 운동 등의 다양한 모odalities 중에서 어떤 것이 폭력 탐지에 가장 효과적인지 확인하는 것.
• 테스트 데이터에 대해 세분화된 애너테이션을 필요로 하지 않도록 하여 새로운 완전히 레이블이 없는 비디오에 직접 배포 가능한 시스템을 개발하는 것.

제안 방법

• 저자들은 95개의 개념으로 구성된 정련된 어휘를 기반으로, '무기', '사망', '표적', '결박' 등의 10개의 시각적으로 구분 가능한 폭력 하위클래스를 포함하여 MediaEval 2015 데이터셋의 10,900개 비디오 클립을 수동으로 애너테이션했다.
• 하위클래스 애너테이션은 52개의 중간 수준의 개념 중에서 개발 세트에서 최소 20개 이상의 비디오에 등장한 것들만 유지하여 최종적으로 10개의 하위클래스를 도출했다.
• 딥 컨volution 네트워크 특징(예: gnet, g4k), 청각 특징(MFCC), 운동 기반 묘사자(예: HOG, 밀도 트래잭터리)를 포함하는 다중모달 특징 세트를 사용하였으며, 각 하위클래스에 맞는 분류기들을 별도로 훈련시켰다.
• 학습-융합 전략은 검증 세트에서 융합 가중치를 튜닝하여, 평균 융합 대비 학습된 융합 전략을 비교하였으며, 하위클래스 지도 여부에 따라 두 가지 조건 모두에서 평가하였다.
• 공식 MediaEval 2015 테스트 세트에서 표준 평가 지표인 평균 정밀도(AP), 정밀도 10위(P10), 정밀도 100위(P100)를 사용하여 시스템을 평가하였다.
• MediaEval 2015 경쟁에서의 세 가지 최신 기술 시스템인 Fudan-Huawei, MIC-TJU, NII-UIT과의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 이론적으로 잠재력이 있는 학습-융합 접근법이 왜 이전 연구에서 단순 평균 융합을 능가하지 못했는가?
• RQ2 하위클래스 수준의 애너테이션이 다중모달 융합 모델의 새로운, 알려지지 않은 테스트 데이터에 대한 일반화 능력에 어떤 영향을 미치는가?
• RQ3 세분화된 하위클래스가 사용될 경우 시각, 청각, 운동 등의 모달리티 중에서 어떤 것이 폭력 탐지에 가장 효과적인가?
• RQ4 특정 데이터셋에서 훈련된 시스템이 테스트 데이터에 대해 세분화된 애너테이션을 필요로 하지 않고도 새로운 테스트 세트로 일반화될 수 있는가?
• RQ5 하위클래스 수준의 지도 정보가 통합될 경우, 종합적 폭력 탐지 대비 다중모달 특징 융합의 효율성과 강건성이 향상되는가?

주요 결과

• 제안된 하위클래스 기반 방법은 MediaEval 2015 테스트 세트에서 AP 0.303과 P100 0.55를 달성하여 세 개의 최신 기술 시스템을 초월하였다.
• 하위클래스 애너테이션의 도입으로 개발 세트와 테스트 세트 간의 분포 이질성 문제(이전 학습-융합 방법의 일반화 성능 열등의 주요 원인으로 규명됨)가 해결되었다.
• 하위클래스가 사용될 경우 학습-융합 전략이 평균 융합을 크게 능가하였으며, 13개 조합 중 11개에서 평균 융합 대비 성능 향상을 보였다.
• 이전 시스템에서 중심적인 역할을 했던 운동 기반 특징은 하위클래스 지도가 적용된 상황에서는 불필요하다는 것이 밝혀졌으며, 하위클래스 전용 시각적 신호가 존재할 경우 그 기여도가 감소하였다.
• 하위클래스를 고려할 경우 영상과 청각 모달리티의 조합은 운동 특징 없이도 최고의 성능을 보였으며, 이는 하위클래스 지도 하에서 모달리티 간 상보성의 변화를 시사한다.
• 이 방법은 세분화된 애너테이션이 필요로 하지 않기 때문에 새로운 완전히 레이블이 없는 비디오에 잘 일반화되며, 실세계 환경에서 직접 배포 가능한 가능성을 보였다.