[论文解读] Anomaly Detection and Localization in Crowded Scenes by Motion-field Shape Description and Similarity-based Statistical Learning

Xinfeng Zhang, Yang Su+3 more|arXiv (Cornell University)|May 27, 2018

Anomaly Detection Techniques and Applications被引用 12

一句话总结

本文提出一种基于运动场形状描述与K-近邻相似性统计学习的方法，用于在人群密集的监控视频中进行无监督异常检测与定位。通过使用形状上下文建模短时轨迹，并应用基于K-近邻相似性的高斯模型检测低概率事件，该方法在透视畸变下表现出鲁棒性，且在真实世界数据集上的性能优于当前最先进方法。

ABSTRACT

In crowded scenes, detection and localization of abnormal behaviors is challenging in that high-density people make object segmentation and tracking extremely difficult. We associate the optical flows of multiple frames to capture short-term trajectories and introduce the histogram-based shape descriptor referred to as shape contexts to describe such short-term trajectories. Furthermore, we propose a K-NN similarity-based statistical model to detect anomalies over time and space, which is an unsupervised one-class learning algorithm requiring no clustering nor any prior assumption. Firstly, we retrieve the K-NN samples from the training set in regard to the testing sample, and then use the similarities between every pair of the K-NN samples to construct a Gaussian model. Finally, the probabilities of the similarities from the testing sample to the K-NN samples under the Gaussian model are calculated in the form of a joint probability. Abnormal events can be detected by judging whether the joint probability is below predefined thresholds in terms of time and space, separately. Such a scheme can adapt to the whole scene, since the probability computed as such is not affected by motion distortions arising from perspective distortion. We conduct experiments on real-world surveillance videos, and the results demonstrate that the proposed method can reliably detect and locate the abnormal events in the video sequences, outperforming the state-of-the-art approaches.

研究动机与目标

• 解决在因遮挡和高密度导致目标跟踪不可靠的拥挤监控场景中检测和定位异常行为的挑战。
• 克服基于聚类的方法所存在的局限性，后者需要预先知道原型数量，且对透视畸变敏感。
• 开发一种无监督的一类学习框架，不依赖聚类或对异常模式的先验假设。
• 通过使用对透视效应引起的运动畸变不敏感的相似性概率，实现在整个场景中鲁棒的异常检测。
• 在包含逆行行走、逗留和不规则运动等多种异常行为的真实监控视频中，实现对异常的精确定位。

提出的方法

• 关联多帧之间的光流场，以提取视频片段中运动物体的短时轨迹。
• 使用基于直方图的形状描述符——形状上下文，表示每条轨迹，以捕捉局部运动模式和空间构型。
• 对于每个测试样本，基于形状上下文相似性从训练集中检索其K个最近邻（K-NN）。
• 基于K-NN样本之间的成对相似性构建高斯混合模型，以建模正常行为的分布。
• 在学习到的高斯模型下，计算测试样本与其K-NN之间相似性的联合概率，以评估异常可能性。
• 通过将联合概率与预设的空间和时间阈值进行比较来检测异常，实现在图像块级别的定位。

实验结果

研究问题

• RQ1 在因遮挡和高密度导致目标跟踪不可靠的拥挤场景中，如何检测并定位异常事件？
• RQ2 是否可以采用无聚类、无监督的一类学习方法，有效建模正常运动模式，而无需对原型数量作先验假设？
• RQ3 如何在异常检测中缓解由透视效应引起运动畸变的影响，以确保在场景不同区域的鲁棒性？
• RQ4 基于K-近邻相似性的统计模型在检测多样化异常行为方面，相较于现有重建方法或聚类方法，能有多大程度的性能优势？
• RQ5 所提出的方法能否检测到未在真实标注中出现的异常行为，例如帮助儿童通过闸机这类异常但非异常的行为？

主要发现

• 在Subway数据集中，该方法在'逆行行走'类别上达到100%（10/10）的检测率，'逗留'类别为100%（9/9），'杂项'类别为100%（7/7），仅产生2次误报。
• 在UCSDped1数据集上，该方法在F1-score和AUC指标上均优于基线方法，展现出更优的泛化能力和鲁棒性。
• 该方法成功检测到未标注但异常的行为，如成人协助儿童通过闸机或不规则跳跃，表明对细微异常模式具有敏感性。
• 该方法仅需极少的训练数据，且不依赖聚类，因此具有良好的可扩展性与适应性，适用于运动模式动态变化的场景。
• 基于K-近邻相似性的模型在不同距离相机的位置均表现出一致性能，证实对透视畸变不敏感。
• 通过K-近邻相似性计算的联合概率，实现了在图像块级别的有效异常定位，对异常活动空间区域的识别具有高精度。