[论文解读] Emotion-Based Crowd Representation for Abnormality Detection

Hamid R. Rabiee, Javad Haddadnia+4 more|arXiv (Cornell University)|Jul 26, 2016

Anomaly Detection Techniques and Applications参考文献 23被引用 21

一句话总结

本文通过利用人群情绪作为中级语义属性，构建了一种新颖的情绪驱动人群表征方法，以弥合低级视觉特征与高级行为理解之间的语义鸿沟。通过引入一个包含人群行为与情绪联合标注的新数据集，该方法在使用潜在情绪建模的情况下，实现了43.9%的行为分类准确率，较基线方法提升了7%的准确率，并显著改善了对‘恐慌’和‘拥堵’等模糊行为的检测效果。

ABSTRACT

In crowd behavior understanding, a model of crowd behavior need to be trained using the information extracted from video sequences. Since there is no ground-truth available in crowd datasets except the crowd behavior labels, most of the methods proposed so far are just based on low-level visual features. However, there is a huge semantic gap between low-level motion/appearance features and high-level concept of crowd behaviors. In this paper we propose an attribute-based strategy to alleviate this problem. While similar strategies have been recently adopted for object and action recognition, as far as we know, we are the first showing that the crowd emotions can be used as attributes for crowd behavior understanding. The main idea is to train a set of emotion-based classifiers, which can subsequently be used to represent the crowd motion. For this purpose, we collect a big dataset of video clips and provide them with both annotations of "crowd behaviors" and "crowd emotions". We show the results of the proposed method on our dataset, which demonstrate that the crowd emotions enable the construction of more descriptive models for crowd behaviors. We aim at publishing the dataset with the article, to be used as a benchmark for the communities.

研究动机与目标

• 解决异常检测中低级视觉特征与高级人群行为概念之间的语义鸿沟问题。
• 探索将人群情绪作为语义属性用于建模人群行为的可行性。
• 构建一个公开可用的基准数据集，包含人群行为与情绪的双重标注。
• 评估情绪感知表征在提升异常检测性能方面的有效性。
• 通过情绪到行为的映射关系，实现对新型异常行为的零样本检测。

提出的方法

• 收集并标注了一个大规模视频数据集，其中包含人群行为标签（如‘恐慌’、‘斗殴’、‘拥堵’）和人群情绪标签（如‘愤怒’、‘害怕’、‘开心’）。
• 训练特定于情绪的分类器，从人群运动中识别情绪状态，将情绪视为中级语义属性。
• 采用潜在SVM框架，利用情绪标签作为隐变量来建模人群行为预测，实现在推理阶段无需真实情绪标签即可获得性能提升。
• 采用多分类分类流程，结合低级视觉特征（如运动、外观）与基于情绪的表征，以改善行为建模。
• 通过混淆矩阵和准确率指标在多个行为与情绪类别上评估性能，以验证方法的鲁棒性。
• 提出一种新颖的情绪到行为映射策略，用于实现对训练数据中未见的新型异常行为的零样本检测。

实验结果

研究问题

• RQ1 人群情绪能否作为有效的中级语义属性，以改善人群行为的表征？
• RQ2 引入情绪信息在多大程度上能缩小低级特征与高级行为概念之间的语义鸿沟？
• RQ3 与仅使用低级特征的基线方法相比，基于情绪的表征在多大程度上提升了异常检测的准确率？
• RQ4 即使在无法获取真实情绪标注的情况下，潜在情绪建模是否仍能提升行为分类性能？
• RQ5 基于情绪的表征能否实现对训练数据中未出现的新型异常行为的检测？

主要发现

• 所提出的基于情绪的表征在使用潜在情绪建模的情况下，实现了43.9%的检测准确率，较基线方法提升了7个百分点。
• ‘恐慌’行为类别的检测精确率最高，达到71.87%，与‘斗殴’类别之间的混淆度最高（11.88%）。
• ‘拥堵’类别的检测性能最低，有21.92%的预测被错误分类为‘恐慌’，表明其视觉线索具有高度模糊性。
• 基于情绪的分类器表现出较强性能，其中‘害怕’情绪的识别精确率达到65.92%，凸显了情绪状态的判别能力。
• 情绪分类的混淆矩阵显示，‘悲伤’与‘害怕’情绪最常被混淆，表明这两种状态存在重叠的运动模式。
• 该方法在行为识别与情绪识别任务中均优于所有基线方法，证实了联合建模的互补价值。