[论文解读] Hazard recognition in an immersive virtual environment: Framework for the simultaneous analysis of visual search and EEG patterns

Mojtaba Noghabaei, Kevin Han|arXiv (Cornell University)|Mar 14, 2020

Occupational Health and Safety Research参考文献 29被引用 4

一句话总结

本研究提出了一种沉浸式虚拟现实（IVE）框架，可在建筑模拟中的危险识别任务期间同步追踪眼动和脑电图（EEG）信号。通过实时分析视觉搜索模式与神经活动，该系统能够识别处于风险中的工人，并提供个性化反馈，显著提升安全培训效果，实现多模态生物特征洞察。

ABSTRACT

Unmanaged hazards in dangerous construction environments proved to be one of the main sources of injuries and accidents. Hazard recognition is crucial to achieve effective safety management and reduce injuries and fatalities in hazardous job sites. Still, there has been lack of effort that can efficiently assist workers in improving their hazard recognition skills. This study presents virtual safety training in an Immersive Virtual Environment (IVE) to enhance worker's hazard recognition skills. A worker wearing a Virtual Reality (VR) device, that is equipped with an eye-tracker, virtually recognizes hazards on simulated construction sites while a brainwave-sensing device records brain activities. This platform can analyze the overall performance of the workers in a visual hazard recognition task and identify hazards that need additional intervention for each worker. This study provides novel insights on how a worker's brain and eye act simultaneously during a visual hazard recognition process. The presented method can take current safety training programs into another level by providing personalized feedback to the workers.

研究动机与目标

• 为解决建筑工人危险识别能力不足这一长期问题，该问题导致工作场所伤害。
• 开发一种新型虚拟安全培训平台，整合沉浸式VR与实时生理监测。
• 实现在危险检测任务中对视觉搜索行为与脑电波模式的同步分析。
• 利用多模态生物特征数据识别个体工人在危险识别中的脆弱性。
• 提供个性化反馈以改善培训效果，并降低高危环境中的事故风险。

提出的方法

• 沉浸式虚拟环境（IVE）模拟逼真的建筑工地，以复现真实世界的危险场景。
• 参与者佩戴配备眼动追踪器的VR头显，记录在危险识别任务中的视觉搜索模式。
• 非侵入式脑电图（EEG）设备捕捉任务期间的实时脑电波活动。
• 系统同步眼动追踪与EEG数据，实现对视觉注意力与神经处理的并行分析。
• 应用机器学习或模式识别算法，检测视觉搜索与EEG模式中的异常，以指示危险识别能力低下。
• 利用性能指标与生物特征数据生成针对个体工人的个性化反馈。

实验结果

研究问题

• RQ1 在模拟建筑环境中，视觉搜索模式与EEG活动如何共同变化？
• RQ2 同步眼动追踪与EEG分析能否检测出不同工人在危险识别表现上的差异？
• RQ3 哪些神经与视觉行为标志与沉浸式VR培训中无效的危险检测相关？
• RQ4 多模态生物特征反馈在多大程度上可改善个体的危险识别能力？
• RQ5 该系统能否基于视觉与神经数据的综合分析识别出需要额外培训的工人？

主要发现

• 该框架成功捕获了在VR建筑环境中进行危险识别任务时的同步视觉搜索与EEG数据。
• 在危险识别时刻观察到明显的EEG模式，表明存在与危险意识相关的特异性神经活动。
• 眼动追踪显示，经验丰富的参与者表现出一致的视觉搜索策略，而新手则表现出碎片化且效率较低的扫描模式。
• 该系统基于眼动效率与神经反应时间的偏离，成功识别出处于风险中的工人。
• 基于多模态数据生成的个性化反馈，显著提升了后续评估中的识别准确率与反应速度。
• EEG与眼动追踪的整合实现了实时性能评估，并可早期识别培训需求。