[論文レビュー] Hajj and Umrah Event Recognition Datasets

Hossam M. Zawbaa, Salah A. Aly|arXiv (Cornell University)|May 10, 2012

Human Pose and Action Recognition参考文献 4被引用数 5

ひとこと要約

本論文は、巡礼の6つの核心的儀礼と巡礼者が実施する9つの人間行動を捉えた、ビデオおよび画像データの包括的コレクションであるHajjおよびUmrahイベント認識（HUER）データセットを紹介する。このデータセットは2011–2012年のシーズン中に収集され、1280×720の画像解像度および640×480のビデオ解像度で30fpsのフレームレートを有する。これにより、宗教的巡礼文脈における行動認識、群衆の安全、および異常検出に関する研究が可能になる。

ABSTRACT

In this note, new Hajj and Umrah Event Recognition datasets (HUER) are presented. The demonstrated datasets are based on videos and images taken during 2011-2012 Hajj and Umrah seasons. HUER is the first collection of datasets covering the six types of Hajj and Umrah ritual events (rotating in Tawaf around Kabaa, performing Sa'y between Safa and Marwa, standing on the mount of Arafat, staying overnight in Muzdalifah, staying two or three days in Mina, and throwing Jamarat). The HUER datasets also contain video and image databases for nine types of human actions during Hajj and Umrah (walking, drinking from Zamzam water, sleeping, smiling, eating, praying, sitting, shaving hairs and ablutions, reading the holy Quran and making duaa). The spatial resolutions are 1280 x 720 pixels for images and 640 x 480 pixels for videos and have lengths of 20 seconds in average with 30 frame per second rates.

研究の動機と目的

• HajjおよびUmrahの儀礼および人間行動認識のための、大規模かつアノテーション済みのビデオおよび画像データセットの不足に対処すること。
• HajjおよびUmrah中に怪我をした、行方不明になった、または異常な行動を示す巡礼者を自動的に検出するためのシステム開発を支援すること。
• 特に過密な状況下における過密、混雑、および安全でない行動を含む、群衆行動モデリングに関する研究を可能にすること。
• 現実世界の高密度状況下での動画ベースの行動認識のベンチマークを提供すること。
• マッカにおける安全性と管理の向上を目的とした知的監視システムの構築を促進すること。

提案手法

• HUERデータセットは、2011–2012年のHajjおよびUmrahシーズン中に収集された20秒の動画クリップおよび高解像度の画像から構成される。
• 動画は640×480解像度、30フレーム毎秒で記録されている一方、画像は1280×720解像度で撮影された。
• データセットには6つの儀礼的イベントが含まれる：Tawaf、Sa’y、アラファートでの立位、ムズダリーファでの滞在、ミーナでの滞在、ジャマラートへの石投げ。
• 9つの人間行動がアノテーションされている：歩行、ザムザムの飲用、睡眠、笑顔、食事、祈り、座位、儀礼的洗浄／ハゲ、コーランの朗読／ダーウァーの執り行い。
• データ収集は、グランド・モスク（マスジド・アル＝ハラム）および主要な巡礼地周辺の現実世界の状況に焦点を当てた。
• このデータセットは、Bag-of-FeaturesおよびSVMベースのアプローチを用いた動画行動認識モデルの学習および評価を支援することを目的として設計されている。

実験結果

リサーチクエスチョン

• RQ1 HajjおよびUmrahの動画および画像データは、儀礼および人間行動認識のため、どのように体系的に収集・アノテーションできるか？
• RQ2 TawafやSa’yといった主要な儀礼において、巡礼者の行動の主な視覚的パターンと変異は何か？
• RQ3 深層学習または従来の機械学習モデルは、路上での睡眠や閉鎖空間における過密化といった異常行動を効果的に認識できるか？
• RQ4 HUERデータセットは、大規模な宗教的集会におけるリアルタイムの安全監視システムの開発をどの程度支援できるか？
• RQ5 クラス内変動および環境のごみ（クラッター）は、高密度の巡礼状況における行動認識モデルの性能にどのように影響を与えるか？

主な発見

• HUERデータセットは、HajjおよびUmrahの儀礼および関連する人間行動を対象にした、同種のデータセットとして初めて公開されたものである。
• データセットには30fpsで640×480解像度の20秒の動画シーケンスと、1280×720解像度の静止画像が含まれており、時間的および空間的忠実度が確保されている。
• 6つの核心的儀礼的イベントと9つの明確に区別された人間行動が体系的にアノテーションされており、HajjおよびUmrah中の巡礼者の行動全般をカバーしている。
• データセットは、意識を失った、または怪我をした巡礼者、行方不明者、および異常な群衆行動を検出するなど、重要な安全上のシナリオのモデリングを可能にする。
• データセットは、聖地におけるリアルタイムのイベント認識、異常検出、および群衆管理のためのアルゴリズム開発を支援する。
• データセットは、複雑で高密度かつ文化的に特異な環境における動画ベースの行動認識分野の今後の研究の基盤を提供することを意図している。