[논문 리뷰] Secondary Inputs for Measuring User Engagement in Immersive VR Education Environments

David Murphy, Conor Higgins|arXiv (Cornell University)|2019. 10. 03.

Virtual Reality Applications and Impacts인용 수 7

한 줄 요약

이 연구는 몰입형 VR 교육 경험 동안 사용자 참여도—특히 안정감, 집중력, 스트레스—를 객관적으로 측정하기 위해 뇌파(EEG)와 심전도(ECG) 생체신호를 보조 입력으로 사용하는 것을 조사한다. 결과적으로 심박수, 알파파 및 테타파와 같은 생체신호가 자가 보고한 정서 상태와 강한 상관관계를 보이며, 이는 VR 학습 환경에서 실시간 정서 피드백에 생체신호를 활용할 수 있음을 시사한다.

ABSTRACT

This paper presents an experiment to assess the feasibility of using secondary input data as a method of determining user engagement in immersive virtual reality (VR). The work investigates whether secondary data (biosignals) acquired from users are useful as a method of detecting levels of concentration, stress, relaxation etc. in immersive environments, and if they could be used to create an affective feedback loop in immersive VR environments, including educational contexts. A VR Experience was developed in the Unity game engine, with three different levels, each designed to expose the user in one of three different states (relaxation, concentration, stress). While in the VR Experience users physiological responses were measured using ECG and EEG sensors. After the experience users completed questionnaires to establish their perceived state during the levels, and to established the usability of the system. Next a comparison between the reported levels of emotion and the measured signals is presented, which show a strong correspondence between the two measures indicating that biosignals are a useful indicator of emotional state while in VR. Finally we make some recommendations on the practicalities of using biosensors, and design considerations for their incorporation in to a VR system, with particular focus on their integration in to task-based training and educational virtual environments.

연구 동기 및 목표

• 몰입형 VR 환경에서 정서적 및 인지적 상태를 측정하기 위해 생체신호(심전도 및 뇌파)를 보조 입력으로 사용할 수 있는지의 가능성을 평가하는 것.
• VR 경험 중 자가 보고한 정서 상태와 생리적 반응 간 상관관계가 있는지 평가하는 것.
• 실시간 정서 피드백을 제공하기 위해 생체센서를 VR 교육 시스템에 실용적으로 통합하는 방법을 탐색하는 것.
• 작업 기반 및 구성주의적 VR 학습 환경에서 생체센서를 구현함에 있어 발생하는 설계 고려사항과 기술적 과제를 규명하는 것.
• 생체신호가 고위험 시뮬레이션 훈련 환경에서 사용자 참여도의 객관적 지표로 기능할 수 있는지 확인하는 것.

제안 방법

• Unity를 사용해 세 단계로 나뉜 VR 경험을 개발하였으며, 각각 안정감, 집중/집중력, 스트레스 상태를 유도하도록 설계하였다.
• 사용자가 VR 환경과 상호작용하는 동안 ECG 및 건식 전극을 사용한 EEG 센서를 통해 생리적 데이터를 수집하였다.
• 모든 세 장면에서 심박수(심전도로부터), 알파, 베타, 테타파 활동(뇌파로부터)을 포함한 보조 입력 신호를 측정하였다.
• 경험 후 설문지를 배포하여 참가자의 정서 상태 인식과 시스템 사용성에 대해 평가하였다.
• 자기 보고한 정서 상태와 생리적 데이터를 비교하여 생체신호와 정서 반응 간 상관관계를 규명하였다.
• 신호 품질과 간섭, 특히 머리 움직임에 의한 영향를 분석하였으며, 센서의 사용성과 사용자 편안함을 평가하였다.

실험 결과

연구 질문

• RQ1 몰입형 VR 환경에서 생체신호(심전도 및 뇌파)가 안정감, 집중력, 스트레스와 같은 정서 상태 변화를 신뢰성 있게 반영할 수 있는가?
• RQ2 자기 보고한 정서 상태가 VR 환경에서 객관적인 생리적 측정치와 어느 정도 상관관계를 가지는가?
• RQ3 신체 운동(예: 머리 움직임)이 실시간 VR 응용 프로그램에서 EEG 및 ECG 데이터의 신뢰성에 어떤 영향을 미치는가?
• RQ4 VR 교육 시스템에 생체센서를 통합함에 있어 실용적 과제와 설계 고려사항은 무엇인가?
• RQ5 생체신호를 활용해 학습 또는 훈련 결과를 향상시키는 정서 피드백 루프를 구축할 수 있는가?

주요 결과

• 스트레스 조건 동안 심박수가 뚜렷하게 증가하였으며, 이는 자기 보고한 스트레스 수준와 일치하여 심박수가 정서적 각성의 신뢰할 수 있는 지표로 사용될 수 있음을 뒷받침한다.
• 알파파 활동은 집중 조건보다 안정 조건에서 유의미하게 높았으며, 이는 알파파가 안정감의 강력한 지표임을 시사한다.
• 일부 참가자, 특히 심박수가 높은 참가자들에서 스트레스 조건에서 테타파 활동이 증가한 것으로 나타났으며, 이는 신호 노이즈에도 불구하고 테타파가 스트레스 상태를 신뢰성 있게 반영할 수 있음을 시사한다.
• 베타파 활동은 집중 조건에서 일관된 증가를 보이지 않았으며, 이는 머리 움직임이나 센서의 한계로 인한 것으로 보이며, 이 경우 집중력을 측정하기 위해 베타파를 사용하는 것이 덜 신뢰성 있을 수 있음을 시사한다.
• 머리 움직임으로 인한 신호 간섭이 있었음에도 불구하고, 생리적 반응의 총체적 패턴이 자기 보고한 정서 상태와 강한 상관관계를 보였으며, 이는 생체신호를 보조 입력으로 사용할 수 있음을 뒷받침한다.
• 대부분의 참가자들이 센서로 인한 방해를 거의 느끼지 않았지만, 소수의 참가자들만이 센서 존재를 의식적으로 느꼈다. 이는 센서의 존재와 사용자 편안함 사이의 균형을 달성할 수 있음을 시사한다.