[논문 리뷰] Hazard recognition in an immersive virtual environment: Framework for the simultaneous analysis of visual search and EEG patterns

Mojtaba Noghabaei, Kevin Han|arXiv (Cornell University)|2020. 03. 14.

Occupational Health and Safety Research참고 문헌 29인용 수 4

한 줄 요약

이 연구는 건설 시뮬레이션에서 사고 인식 작업 중에 눈동자의 움직임과 뇌파 신호를 동시에 추적하는 몰입형 가상현실(IVE) 프레임워크를 소개한다. 실시간으로 시각적 탐색 패턴과 뇌 활동을 분석함으로써, 위험에 노출된 근로자를 식별하고 개인 맞춤형 피드백을 제공함으로써 다중 모odal 생체지표 정보를 통해 안전 훈련의 효과를 크게 향상시킨다.

ABSTRACT

Unmanaged hazards in dangerous construction environments proved to be one of the main sources of injuries and accidents. Hazard recognition is crucial to achieve effective safety management and reduce injuries and fatalities in hazardous job sites. Still, there has been lack of effort that can efficiently assist workers in improving their hazard recognition skills. This study presents virtual safety training in an Immersive Virtual Environment (IVE) to enhance worker's hazard recognition skills. A worker wearing a Virtual Reality (VR) device, that is equipped with an eye-tracker, virtually recognizes hazards on simulated construction sites while a brainwave-sensing device records brain activities. This platform can analyze the overall performance of the workers in a visual hazard recognition task and identify hazards that need additional intervention for each worker. This study provides novel insights on how a worker's brain and eye act simultaneously during a visual hazard recognition process. The presented method can take current safety training programs into another level by providing personalized feedback to the workers.

연구 동기 및 목표

• 건설 근로자들 사이에서 지속적으로 발생하는 사고 인식 능력 부족 문제를 해결하기 위해.
• 몰입형 VR과 실시간 생리학적 모니터링을 통합한 혁신적인 가상 안전 훈련 플랫폼을 개발하기 위해.
• 사고 탐지 작업 중에 시각적 탐색 행동과 뇌파 패턴을 동시에 분석할 수 있도록 하기 위해.
• 다중 모달 생체지표 데이터를 활용해 개인별 사고 인식 취약성을 식별하기 위해.
• 훈련 결과를 향상시키고 고위험 환경에서의 사고 위험을 줄이기 위해 개인 맞춤형 피드백을 제공하기 위해.

제안 방법

• 몰입형 가상 환경(IVE)이 실제 건설 현장을 재현하여 실제 사고 상황을 모의한다.
• 참가자들은 사고 인식 작업 중 시각적 탐색 패턴을 기록하기 위해 눈동자 추적 기능이 탑재된 VR 헤드셋을 착용한다.
• 비침습적 뇌전도측정(EEG) 장치가 작업 중 실시간 뇌파 활동을 측정한다.
• 눈동자 추적 데이터와 EEG 데이터를 동기화하여 시각적 주의와 뇌 기능 처리를 동시에 분석한다.
• 기계 학습 또는 패턴 인식 알고리즘이 사고 탐지 능력 저하를 나타내는 시각적 탐색 및 EEG 패턴의 이질성을 탐지하는 데 적용된다.
• 성과 지표와 생체지표 데이터를 활용해 개인별로 맞춤형 피드백을 생성한다.

실험 결과

연구 질문

• RQ1 가상 건설 환경에서 사고 인식 과정 중에 시각적 탐색 패턴과 EEG 활동이 어떻게 상관관계를 가지는가?
• RQ2 동시 눈동자 추적과 EEG 분석을 통해 근로자 간의 사고 인식 성과 차이를 탐지할 수 있는가?
• RQ3 몰입형 VR 훈련에서 효과적이지 못한 사고 인식과 관련된 신경 및 시각적 행동 지표는 무엇인가?
• RQ4 다중 모달 생체지표 피드백이 개인의 사고 인식 능력을 얼마나 향상시킬 수 있는가?
• RQ5 시각적 및 신경 데이터를 통합해 추가 훈련이 필요한 근로자를 시스템이 식별할 수 있는가?

주요 결과

• 프레임워크는 VR 건설 환경에서 사고 인식 작업 중에 동기화된 시각적 탐색 및 EEG 데이터를 성공적으로 캡처했다.
• 사고 인식 순간에 특별한 EEG 패턴이 관찰되어 사고 인식에 특화된 뇌 활동이 있음을 시사했다.
• 눈동자 추적 결과, 숙련된 참가자들은 일관된 시각적 탐색 전략을 보였지만, 신규 참가자들은 산산이 찢어진 패턴과 효율성이 떨어지는 스캔 패턴을 보였다.
• 눈동자 움직임의 효율성과 뇌파 반응 시간의 이질성에 기반해 위험에 노출된 근로자를 탐지할 수 있었다.
• 다중 모달 데이터에서 유도된 개인 맞춤형 피드백은 후속 평가에서 인식 정확도와 반응 시간을 향상시켰다.
• EEG와 눈동자 추적의 통합은 실시간 성과 평가 및 훈련 필요 조기 식별을 가능하게 했다.