[논문 리뷰] Emotion-Based Crowd Representation for Abnormality Detection

Hamid R. Rabiee, Javad Haddadnia외 4명|arXiv (Cornell University)|2016. 07. 26.

Anomaly Detection Techniques and Applications참고 문헌 23인용 수 21

한 줄 요약

이 논문은 낮은 수준의 시각적 특징과 높은 수준의 행동 이해 사이의 격차를 메우기 위해 군중의 감정을 중위 수준의 의미적 속성으로 활용하여 비정상성 탐지에 위한 새로운 감정 기반 군중 표현을 제안한다. 군중 행동과 감정을 함께 주석 처리한 새로운 데이터셋을 도입함으로써, 잠재 감정 모델링을 사용한 행동 분류에서 43.9%의 정확도를 달성하였으며, 기준 방법 대비 정확도 7% 향상 및 '공포'와 '혼잡'과 같은 모호한 행동의 탐지 성능을 크게 향상시켰다.

ABSTRACT

In crowd behavior understanding, a model of crowd behavior need to be trained using the information extracted from video sequences. Since there is no ground-truth available in crowd datasets except the crowd behavior labels, most of the methods proposed so far are just based on low-level visual features. However, there is a huge semantic gap between low-level motion/appearance features and high-level concept of crowd behaviors. In this paper we propose an attribute-based strategy to alleviate this problem. While similar strategies have been recently adopted for object and action recognition, as far as we know, we are the first showing that the crowd emotions can be used as attributes for crowd behavior understanding. The main idea is to train a set of emotion-based classifiers, which can subsequently be used to represent the crowd motion. For this purpose, we collect a big dataset of video clips and provide them with both annotations of "crowd behaviors" and "crowd emotions". We show the results of the proposed method on our dataset, which demonstrate that the crowd emotions enable the construction of more descriptive models for crowd behaviors. We aim at publishing the dataset with the article, to be used as a benchmark for the communities.

연구 동기 및 목표

• 비정상성 탐지에서 낮은 수준의 시각적 특징과 높은 수준의 군중 행동 개념 사이의 의미 격차를 해소하기 위해.
• 군중 감정을 행동 모델링을 위한 의미적 속성으로 사용할 수 있는지 탐색하기 위해.
• 군중 행동과 감정에 대한 이중 주석을 가진 공개 가능한 기준 데이터셋을 구축하기 위해.
• 감정 인식 표현이 비정상성 탐지 성능 향상에 기여하는지 평가하기 위해.
• 감정-행동 매핑을 통해 기존에 보지 못한 새로운 비정상 행동에 대한 제로샷 탐지 기능을 가능하게 하기 위해.

제안 방법

• ‘공포’, ‘싸움’, ‘혼잡’ 등의 군중 행동 레이블과 ‘분노’, ‘공포’, ‘행복’ 등의 군중 감정 레이블을 포함한 대규모 영상 데이터셋을 수집 및 주석 처리한다.
• 군중 운동에서 감정 상태를 인식하기 위한 감정별 분류기를 훈련시으며, 감정을 중위 수준의 의미적 속성으로 간주한다.
• 감정 레이블을 잠재 변수로 사용하여 군중 행동 예측을 모델링하기 위해 잠재 SVM 프레임워크를 활용하며, 추론 시 진정한 감정 레이블이 필요로 하지 않아도 성능 향상을 달성한다.
• 저수준의 시각적 특징(예: 운동, 외관)과 감정 기반 표현을 결합한 다중 클래스 분류 파이프라인을 활용하여 행동 모델링을 향상시킨다.
• 혼동 행렬과 정확도 지표를 사용하여 여러 행동 및 감정 클래스에서 성능을 평가함으로써 방법의 강건성을 검증한다.
• 기존에 보지 못한 비정상 행동에 대한 제로샷 탐지를 가능하게 하는 새로운 감정-행동 매핑 전략을 도입한다.

실험 결과

연구 질문

• RQ1 군중 감정은 행동 표현 향상에 효과적인 중위 수준의 의미적 속성로 기능할 수 있는가?
• RQ2 감정 정보를 통합함으로써 낮은 수준의 특징과 높은 수준의 행동 개념 사이의 의미 격차는 얼마나 감소하는가?
• RQ3 저수준 특징만을 사용하는 기준 방법 대비 감정 기반 표현은 비정상성 탐지 정확도를 얼마나 향상시키는가?
• RQ4 진정한 감정 주석이 없는 상황에서도 잠재 감정 모델링이 행동 분류 성능 향상에 기여할 수 있는가?
• RQ5 감정 기반 표현은 훈련 데이터에 존재하지 않는 새로운 비정상 행동의 탐지 기능을 가능하게 할 수 있는가?

주요 결과

• 제안된 감정 기반 표현은 잠재 감정 모델링을 사용하여 43.9%의 탐지 정확도를 달성하였으며, 기준 방법 대비 7% 향상된 성능을 보였다.
• '공포' 행동 클래스는 71.87%의 최고 정밀도를 기록하였으며, 가장 높은 혼동은 '싸움' 클래스와 발생했으며(11.88%), 이는 상대적으로 유사한 시각적 특징을 지닌 것으로 나타났다.
• '혼잡' 클래스는 가장 낮은 탐지 성능를 보였으며, 예측의 21.92%가 '공포'로 잘못 분류되어 시각적 단서의 모호성이 높음을 시사한다.
• 감정 기반 분류기는 뛰어난 성능을 보였으며, '공포' 감정은 65.92%의 정밀도로 인식되었으며, 감정 상태의 분류 능력이 뛰어나다는 것을 입증한다.
• 감정 분류의 혼동 행렬을 분석한 결과, '슬픔'과 '공포' 감정이 가장 자주 혼동되었으며, 이는 이 두 감정 상태에서 유사한 운동 패턴을 지닌 것으로 나타났다.
• 모든 기준 방법 대비 행동 및 감정 인식 작업에서 성능을 뛰어넘었으며, 이는 공동 모델링의 보완적 가치를 확인한다.