[论文解读] Complex Events Recognition under Uncertainty in a Sensor Network

Atul Kanaujia, Tae Eun Choe+1 more|arXiv (Cornell University)|Nov 1, 2014

Anomaly Detection Techniques and Applications参考文献 32被引用 6

一句话总结

该论文提出了一种基于马尔可夫逻辑网络（MLN）的系统，用于在不确定性条件下识别多传感器视频流中的复杂事件，通过使用带有软规则和学习权重的概率一阶逻辑融合异构视觉数据。该方法在四个非重叠传感器上检测到如背包盗窃和背包掉落等复杂事件时，实现了77.8%的精确率和80.7%的召回率，展示了其在不完整或模糊观测下的可扩展性和鲁棒性。

ABSTRACT

Automated extraction of semantic information from a network of sensors for cognitive analysis and human-like reasoning is a desired capability in future ground surveillance systems. We tackle the problem of complex decision making under uncertainty in network information environment, where lack of effective visual processing tools, incomplete domain knowledge frequently cause uncertainty in the visual primitives, leading to sub-optimal decisions. While state-of-the-art vision techniques exist in detecting visual entities (humans, vehicles and scene elements) in an image, a missing functionality is the ability to merge the information to reveal meaningful information for high level inference. In this work, we develop a probabilistic first order predicate logic(FOPL) based reasoning system for recognizing complex events in synchronized stream of videos, acquired from sensors with non-overlapping fields of view. We adopt Markov Logic Network(MLN) as a tool to model uncertainty in observations, and fuse information extracted from heterogeneous data in a probabilistically consistent way. MLN overcomes strong dependence on pure empirical learning by incorporating domain knowledge, in the form of user-defined rules and confidences associated with them. This work demonstrates that the MLN based decision control system can be made scalable to model statistical relations between a variety of entities and over long video sequences. Experiments with real-world data, under a variety of settings, illustrate the mathematical soundness and wide-ranging applicability of our approach.

研究动机与目标

• 解决传感器网络中视觉数据在不同传感器间存在不确定性、不完整或不一致时的复杂事件识别挑战。
• 通过以概率一致的方式融合低层次视觉检测结果与符号领域知识，实现高层认知推理。
• 克服传统基于规则和HMM系统在原始检测缺失或噪声情况下的局限性。
• 通过分层推理实现对长视频序列和多个相互作用实体的概率推理可扩展性。
• 通过学习的相似性度量和加权逻辑规则，提升跨传感器目标关联和事件检测的准确性。

提出的方法

• 使用带有软规则的概率一阶谓词逻辑（FOPL）建模复杂事件，其中每条规则分配一个反映其置信度的权重。
• 采用马尔可夫逻辑网络（MLN）表示视觉观测中的不确定性，并在异构数据源之间执行概率推理。
• 将低层次视觉检测结果（如人、车辆）作为MLN中的证据，使用加权谓词反映检测置信度。
• 应用分层推理以降低计算成本，实现在长视频序列和大量基原子上的可扩展性。
• 使用TUFFY作为MLN推理引擎，事件规则的权重手动设定，跨传感器目标关联的权重则通过学习获得。
• 通过相关性成分分析（RCA）增强人体目标关联，实现度量学习，从而在不依赖个体人体掩码的情况下提升匹配准确性。

实验结果

研究问题

• RQ1 当观测在不同传感器间存在不确定性、不完整或不一致时，如何在多传感器视频流中识别复杂事件？
• RQ2 像MLN这样的概率逻辑框架能否有效建模并推理在不确定性下的复杂、多智能体交互？
• RQ3 在缺乏真实掩码的情况下，学习的相似性度量在多大程度上能改善跨传感器目标关联？
• RQ4 MLN推理在识别跨多个传感器的长时间、高元数复杂事件时具有多大的可扩展性？
• RQ5 当某些子事件未被检测到或存在歧义时，MLN中的软规则是否仍能提供鲁棒的推理？

主要发现

• 基于MLN的系统在四个非重叠传感器上检测背包盗窃和背包掉落等复杂事件时，实现了77.8%的精确率和80.7%的召回率。
• 该系统在测试视频序列中成功检测到4个复杂事件中的3个，第四个因属性检测器故障而被错误分类。
• 相关性成分分析（RCA）显著提升了基于显著性的人体目标关联算法的准确性，即使未使用个体人体掩码。
• 复杂背包盗窃事件的推理在2.8 GHz四核机器上耗时约一小时，由于高元数谓词生成了约40万个基原子。
• 该系统对许多事件类型表现出高召回率（最高达1.0），但误报较常见，主要源于与车辆或建筑物出入口的虚假交互。
• 使用软规则使得即使在某些子事件未被观测到的情况下，仍能部分检测复杂事件，展现出对缺失数据的鲁棒性。