[论文解读] Hajj and Umrah Event Recognition Datasets

Hossam M. Zawbaa, Salah A. Aly|arXiv (Cornell University)|May 10, 2012

Human Pose and Action Recognition参考文献 4被引用 5

一句话总结

本文介绍了哈吉节与欧麦拉节事件识别（HUER）数据集，这是首个全面收集的视频与图像数据集，涵盖六项核心哈吉节与欧麦拉节仪式及朝觐者执行的九种人类动作。该数据集于2011–2012年朝觐季节采集，图像分辨率为1280×720，视频分辨率为640×480，帧率为30 fps，可用于宗教朝觐场景下的动作识别、人群安全与异常检测研究。

ABSTRACT

In this note, new Hajj and Umrah Event Recognition datasets (HUER) are presented. The demonstrated datasets are based on videos and images taken during 2011-2012 Hajj and Umrah seasons. HUER is the first collection of datasets covering the six types of Hajj and Umrah ritual events (rotating in Tawaf around Kabaa, performing Sa'y between Safa and Marwa, standing on the mount of Arafat, staying overnight in Muzdalifah, staying two or three days in Mina, and throwing Jamarat). The HUER datasets also contain video and image databases for nine types of human actions during Hajj and Umrah (walking, drinking from Zamzam water, sleeping, smiling, eating, praying, sitting, shaving hairs and ablutions, reading the holy Quran and making duaa). The spatial resolutions are 1280 x 720 pixels for images and 640 x 480 pixels for videos and have lengths of 20 seconds in average with 30 frame per second rates.

研究动机与目标

• 为解决哈吉节与欧麦拉节仪式及人类动作识别领域缺乏大规模、带标注的视频与图像数据集的问题。
• 支持开发自动化系统，用于在哈吉节与欧麦拉节期间检测受伤、失踪或行为异常的朝觐者。
• 支持人群行为建模研究，包括圣地中的过度拥挤、拥堵及不安全行为。
• 为在真实世界高密度条件下进行基于视频的人类动作识别提供基准。
• 促进智能监控系统的发展，以提升麦加地区的安全与管理效率。

提出的方法

• HUER数据集包含20秒的视频片段与高分辨率图像，采集于2011–2012年哈吉节与欧麦拉节期间。
• 视频以640×480分辨率、每秒30帧的速度录制，图像分辨率为1280×720。
• 数据集包含六项仪式事件：绕行天房（Tawaf）、赛亚步行（Sa’y）、阿勒法特山驻留、穆兹达里法停留、米纳停留，以及投掷石块（throwing Jamarat）。
• 九种人类动作被标注：行走、饮用赞米水、睡觉、微笑、进食、祈祷、就坐、净身/剃须，以及诵读古兰经/祈祷。
• 数据采集聚焦于大清真寺（阿勒-哈勒清真寺）及其周边关键朝觐地点的真实环境条件。
• 该数据集旨在支持使用词袋特征与基于SVM的方法训练和评估视频动作识别模型。

实验结果

研究问题

• RQ1 如何系统化地收集与标注哈吉节与欧麦拉节的视频与图像数据，以实现仪式与人类动作识别？
• RQ2 在如绕行天房与赛亚步行等主要仪式中，朝觐者行为的关键视觉模式与变化特征是什么？
• RQ3 深度学习或传统机器学习模型能否有效识别如在街道上睡觉或在狭小区域过度拥挤等异常行为？
• RQ4 HUER数据集在多大程度上可支持实时安全监控系统的发展，以应对大规模宗教集会？
• RQ5 类内差异与环境杂乱对高密度朝觐场景下动作识别模型性能的影响如何？

主要发现

• HUER数据集是首个公开发布的同类数据集，专门针对哈吉节与欧麦拉节仪式及关联的人类动作。
• 数据集包含30 fps下640×480分辨率的20秒视频序列与1280×720分辨率的静态图像，确保了高时间与空间保真度。
• 六项核心仪式事件与九种不同的人类动作被系统标注，覆盖了哈吉节与欧麦拉节期间朝觐者活动的完整范围。
• 该数据集支持对关键安全场景的建模，如检测昏迷或受伤的朝觐者、失踪人员以及异常人群行为。
• 该数据集支持开发实时事件识别算法，包括异常检测与圣地人群管理。
• 该数据集旨在作为未来基于视频的动作识别研究的基础，特别是在复杂、高密度、具有文化特异性的环境中。