[논문 리뷰] Hajj and Umrah Event Recognition Datasets

Hossam M. Zawbaa, Salah A. Aly|arXiv (Cornell University)|2012. 05. 10.

Human Pose and Action Recognition참고 문헌 4인용 수 5

한 줄 요약

이 논문은 히지와 우마라 순례 의식과 순례자들이 수행하는 아홉 가지 인간 행동을 촬영한 영상 및 이미지 데이터를 포함하는, 히지와 우마라 행사 인식(HUER) 데이터셋을 소개한다. 이 데이터셋은 2011–2012년도 시즌 동안 수집되었으며, 1280×720 해상도의 이미지와 640×480 해상도의 30fps 영상으로 구성되어 있어, 종교적 순례 환경에서 행동 인식, 군중 안전, 이질적 행동 탐지 분야의 연구를 가능하게 한다.

ABSTRACT

In this note, new Hajj and Umrah Event Recognition datasets (HUER) are presented. The demonstrated datasets are based on videos and images taken during 2011-2012 Hajj and Umrah seasons. HUER is the first collection of datasets covering the six types of Hajj and Umrah ritual events (rotating in Tawaf around Kabaa, performing Sa'y between Safa and Marwa, standing on the mount of Arafat, staying overnight in Muzdalifah, staying two or three days in Mina, and throwing Jamarat). The HUER datasets also contain video and image databases for nine types of human actions during Hajj and Umrah (walking, drinking from Zamzam water, sleeping, smiling, eating, praying, sitting, shaving hairs and ablutions, reading the holy Quran and making duaa). The spatial resolutions are 1280 x 720 pixels for images and 640 x 480 pixels for videos and have lengths of 20 seconds in average with 30 frame per second rates.

연구 동기 및 목표

• 히지와 우마라 의식 및 인간 행동 인식을 위한 대규모로 애너테이션 처리된 영상 및 이미지 데이터셋의 부족을 보완하기 위해.
• 히지와 우마라 기간 동안 부상당한, 실종된, 또는 이질적인 행동을 보이는 순례자를 자동으로 탐지하기 위한 시스템 개발을 지원하기 위해.
• 성지 내 과밀, 혼잡, 안전하지 않은 행동과 같은 군중 행동 모델링 연구를 가능하게 하기 위해.
• 실제 고밀도 조건에서 영상 기반 인간 행동 인식의 기준이 되는 데이터셋을 제공하기 위해.
• 마카 혁명지에서의 안전 및 관리 향상을 위한 지능형 모니터링 시스템 개발을 촉진하기 위해.

제안 방법

• HUER 데이터셋은 2011–2012년 히지 및 우마라 시즌 동안 촬영된 20초 분량의 영상 클립과 고해상도 이미지로 구성되어 있다.
• 영상은 640×480 해상도, 30 프레임/초로 촬영되었으며, 이미지는 1280×720 해상도로 촬영되었다.
• 여섯 가지 핵심 의식 이벤트가 포함되어 있다: 타와프, 사‘, 아라파트에 머무름, 무즈다릴파에서 머무름, 마이나에서 머무름, 주마라트 던지기.
• 아홉 가지 인간 행동이 애너테이션 처리되었다: 걷기, 자즈마 물 마시기, 잠자기, 웃기, 식사, 기도, 앉기, 아부루트/이슬람식 이슬람식 머리 자르기, 쿠란 독서/기도하기.
• 데이터 수집은 그랜드 모스크(Masjid al-Haram) 및 주요 순례지 주변의 실제 환경 조건을 중심으로 이루어졌다.
• 이 데이터셋은 백오프기반 및 SVM 기반 접근 방식을 활용한 영상 행동 인식 모델의 학습 및 평가를 지원하도록 설계되었다.

실험 결과

연구 질문

• RQ1 히지와 우마라에서의 영상 및 이미지 데이터는 어떻게 체계적으로 수집하고 애너테이션 처리할 수 있을까? 특히 의식 및 인간 행동 인식을 위해.
• RQ2 타와프 및 사‘과 같은 주요 의식에서 순례자의 행동 패턴과 변형은 어떤 특징을 가지는가?
• RQ3 딥 러닝 또는 전통적인 머신러닝 모델은 도로에서 잠자는 것과 같은 이질적 행동이나 제한된 공간 내 과밀 현상을 효과적으로 인식할 수 있는가?
• RQ4 HUER 데이터셋은 대규모 종교 행사에서 실시간 안전 모니터링 시스템 개발을 어느 정도 지원할 수 있는가?
• RQ5 클래스 내 변동성과 환경적 혼잡성은 고밀도 순례 환경에서 행동 인식 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• HUER 데이터셋은 히지와 우마라 의식과 관련된 인간 행동을 전용으로 다루는, 공개된 바 없는 첫 번째 데이터셋이다.
• 30fps로 640×480 해상도의 20초 분량 영상 시퀀스와 1280×720 해상도의 정적 이미지가 포함되어 있어, 시간적·공간적 정밀도가 높다.
• 여섯 가지 핵심 의식 이벤트와 아홉 가지 구분된 인간 행동이 체계적으로 애너테이션 처리되어, 히지와 우마라 기간 동안 순례자 활동의 전반적인 스펙트럼을 커버한다.
• 의식을 상실하거나 부상당한 순례자 탐지, 실종자 탐지, 이질적 군중 행동과 같은 중요한 안전 사례 모델링이 가능하다.
• 실시간 이벤트 인식, 특히 성지 내 이질적 행동 탐지 및 군중 관리 알고리즘 개발을 위한 지원이 가능하다.
• 이 데이터셋은 복잡하고 고밀도이며 문화적으로 특수한 환경에서 영상 기반 행동 인식 연구의 기초 자료로 향후 연구를 위한 기반을 제공한다.