[論文レビュー] Hazard recognition in an immersive virtual environment: Framework for the simultaneous analysis of visual search and EEG patterns

Mojtaba Noghabaei, Kevin Han|arXiv (Cornell University)|Mar 14, 2020

Occupational Health and Safety Research参考文献 29被引用数 4

ひとこと要約

本研究は、建設シミュレーションにおける危険物認識タスク中に同時に眼動-trackingとEEG信号を記録するインマersiveバーチャルリアリティ（IVE）フレームワークを導入する。視線の探索パターンと神経活動をリアルタイムで分析することで、リスクの高い作業者を特定し、個別化されたフィードバックを提供する。マルチモーダルバイオメトリックインサイトを通じて、安全訓練の効果が顕著に向上する。

ABSTRACT

Unmanaged hazards in dangerous construction environments proved to be one of the main sources of injuries and accidents. Hazard recognition is crucial to achieve effective safety management and reduce injuries and fatalities in hazardous job sites. Still, there has been lack of effort that can efficiently assist workers in improving their hazard recognition skills. This study presents virtual safety training in an Immersive Virtual Environment (IVE) to enhance worker's hazard recognition skills. A worker wearing a Virtual Reality (VR) device, that is equipped with an eye-tracker, virtually recognizes hazards on simulated construction sites while a brainwave-sensing device records brain activities. This platform can analyze the overall performance of the workers in a visual hazard recognition task and identify hazards that need additional intervention for each worker. This study provides novel insights on how a worker's brain and eye act simultaneously during a visual hazard recognition process. The presented method can take current safety training programs into another level by providing personalized feedback to the workers.

研究の動機と目的

• 建設作業者における危険物認識スキルの不足が職場事故に寄与しているという継続的な課題に対処すること。
• インマーシブVRとリアルタイム生理的モニタリングを統合した革新的なバーチャル安全訓練プラットフォームの開発。
• 危険物検出タスク中に視線の探索行動と脳波パターンの同時分析を可能にすること。
• マルチモーダルバイオメトリックデータを用いて、個々の作業者の危険物認識における脆弱性を特定すること。
• 訓練の成果を向上させ、高リスク環境での事故リスクを低減するための個別化されたフィードバックを提供すること。

提案手法

• インマーシブバーチャルエコロジカル（IVE）環境が、現実の危険状況を再現するリアルな建設現場をシミュレートする。
• 参加者は、危険物認識タスク中に視線の探索パターンを記録できる、眼動-tracking機能を備えたVRヘッドセットを着用する。
• 非侵襲的エレクトロエンセファログラム（EEG）デバイスが、タスク中におけるリアルタイムの脳波活動を捉える。
• 視線の注視と神経処理の両方を同時に分析できるよう、眼動-trackingとEEGデータを同期化する。
• 視線の探索やEEGパターンの異常を検出するために、機械学習またはパターン認識アルゴリズムが適用される。これらは、危険物の検出が不十分である状態を示す。
• パフォーマンス指標とバイオメトリックデータを用いて、個々の作業者向けの個別化されたフィードバックを生成する。

実験結果

リサーチクエスチョン

• RQ1 シミュレートされた建設環境における危険物認識の過程で、視線の探索パターンとEEG活動はどのように相関するか？
• RQ2 同時に眼動-trackingとEEG分析を実施することで、作業者間の危険物認識パフォーマンスの差を検出できるか？
• RQ3 インマーシブVR訓練における、効果のない危険物検出と関連する神経的および視覚的行動マーカーは何か？
• RQ4 マルチモーダルバイオメトリックフィードバックは、個々の危険物認識スキルをどの程度向上させ得るか？
• RQ5 視覚的および神経的データの統合により、追加の訓練を要する作業者を同定できるか？

主な発見

• フレームワークは、VR建設環境における危険物認識タスク中に、同期された視線の探索とEEGデータを効果的に捉えた。
• 危険物検出の瞬間に特徴的なEEGパターンが観察され、危険物認識に特化した神経的関与が示された。
• 眼動-trackingにより、熟練者では一貫した視線の探索戦略が、初心者では断片的かつ非効率的なスキャンパターンが確認された。
• 視線移動の効率性と神経応答タイミングの両方における乖離に基づき、リスクの高い作業者を同定した。
• マルチモーダルデータから得た個別化されたフィードバックにより、フォローアセスメントで認識正確性と反応時間が向上した。
• EEGと眼動-trackingの統合により、リアルタイムのパフォーマンス評価と訓練ニーズの早期同定が可能になった。