[论文解读] A Survey Of Activity Recognition And Understanding The Behavior In Video Survelliance

A. Revathi, Dhananjay Kumar|arXiv (Cornell University)|Jul 29, 2012

Video Surveillance and Tracking Methods参考文献 10被引用 4

一句话总结

本综述全面概述了视频监控中的人体活动识别与行为理解，涵盖物体跟踪、活动识别和行为建模等关键阶段。它综合了在多样化环境中识别和分类感兴趣事件的当前技术，为使用计算机视觉和模式识别方法的监控系统提供了结构化框架。

ABSTRACT

This paper presents a review of human activity recognition and behaviour understanding in video sequence. The key objective of this paper is to provide a general review on the overall process of a surveillance system used in the current trend. Visual surveillance system is directed on automatic identification of events of interest, especially on tracking and classification of moving objects. The processing step of the video surveillance system includes the following stages: Surrounding model, object representation, object tracking, activity recognition and behaviour understanding. It describes techniques that use to define a general set of activities that are applicable to a wide range of scenes and environments in video sequence.

研究动机与目标

• 提供对现代视频监控系统中人体活动识别整个流程的系统性综述。
• 识别并分析监控应用中物体跟踪、表征和行为建模等核心组件。
• 研究可在多样化场景和环境中泛化的技术，以实现稳健的活动理解。
• 突出真实视频序列中自动事件检测与分类的挑战。
• 为计算机视觉和监控系统设计领域的研究人员提供基础参考。

提出的方法

• 将视频监控系统分类为一系列处理阶段：环境建模、物体表征、跟踪、活动识别和行为理解。
• 综述用于建模动态场景并从视频序列中提取时空特征的技术。
• 分析利用运动模式、物体交互和上下文线索对活动进行分类的方法。
• 研究基于轨迹、基于骨骼以及深度学习等表示模型在活动建模中的应用。
• 讨论整合上下文和环境信息以提升复杂场景中行为理解的方法。
• 综述活动识别任务中使用的评估指标和基准，强调在不同环境中的泛化能力。

实验结果

研究问题

• RQ1 视频监控系统中人体活动识别的关键阶段和组件是什么？
• RQ2 如何在多样化环境和场景中实现活动识别的泛化？
• RQ3 在视频序列中，哪些技术对建模和分类人类行为最为有效？
• RQ4 物体跟踪和时空建模在行为理解中发挥什么作用？
• RQ5 在真实世界监控中实现稳健且可扩展的行为理解面临的主要挑战是什么？

主要发现

• 本文识别出一条清晰的处理流程：环境建模、物体表征、跟踪、活动识别和行为理解，这些阶段构成了有效视频监控系统的基础。
• 研究表明，稳健的活动识别需要整合运动、上下文和物体交互建模，以应对现实世界中的变化。
• 综述强调了可跨不同监控环境应用的通用活动模型的重要性。
• 文中指出了现有方法的局限性，特别是在处理遮挡、复杂交互和长期行为建模方面。
• 作者得出结论：尽管已取得显著进展，但在可扩展性、实时处理和上下文推理方面仍存在挑战。
• 本文作为研究人员的基础参考文献，总结了截至2012年的研究趋势与开放性问题。