[論文レビュー] Secondary Inputs for Measuring User Engagement in Immersive VR Education Environments

David Murphy, Conor Higgins|arXiv (Cornell University)|Oct 3, 2019

Virtual Reality Applications and Impacts被引用数 7

ひとこと要約

本研究では、没入型VR教育体験中のユーザーの関与度—具体的にはリラックス、集中、ストレス—を客観的に測定するため、EEGおよびECGバイオシグナルを二次入力として使用するかを調査している。結果として、心拍数、アルファ波、デルタ波といった生理的シグナルと自己報告された感情状態との間に強く一致する関係が確認され、VR学習環境におけるリアルタイムの感情フィードバックにバイオシグナルが有効であることが示された。

ABSTRACT

This paper presents an experiment to assess the feasibility of using secondary input data as a method of determining user engagement in immersive virtual reality (VR). The work investigates whether secondary data (biosignals) acquired from users are useful as a method of detecting levels of concentration, stress, relaxation etc. in immersive environments, and if they could be used to create an affective feedback loop in immersive VR environments, including educational contexts. A VR Experience was developed in the Unity game engine, with three different levels, each designed to expose the user in one of three different states (relaxation, concentration, stress). While in the VR Experience users physiological responses were measured using ECG and EEG sensors. After the experience users completed questionnaires to establish their perceived state during the levels, and to established the usability of the system. Next a comparison between the reported levels of emotion and the measured signals is presented, which show a strong correspondence between the two measures indicating that biosignals are a useful indicator of emotional state while in VR. Finally we make some recommendations on the practicalities of using biosensors, and design considerations for their incorporation in to a VR system, with particular focus on their integration in to task-based training and educational virtual environments.

研究の動機と目的

• 没入型VR環境における感情状態および認知状態を測定するために、バイオシグナル（ECGおよびEEG）を二次入力として使用する可能性を評価すること。
• VR体験中に自己報告された感情状態と生理的反応がどの程度相関しているかを評価すること。
• バイオスセンサーをVR教育システムに実装し、リアルタイムの感情フィードバックを提供するための実用的統合を検討すること。
• タスク指向型および構成的学習を目的としたVR学習環境における、バイオスセンサーの導入に伴う設計上の考慮事項と技術的課題を特定すること。
• バイオシグナルが、特に高リスク訓練シミュレーションにおいて、ユーザーの関与度の客観的指標として機能できるかどうかを検証すること。

提案手法

• Unityを用いて、リラックス、集中／注視、ストレスの3つの感情状態を引き起こすことを目的とした3段階のVR体験を構築した。
• ユーザーがVR環境と相互作用する際、ECGおよびドライ電極を用いたEEGセンサーを用いて生理的データを収集した。
• 全3シーンにおいて、心拍数（ECGから）、およびアルファ、ベータ、デルタ波活動（EEGから）の二次入力シグナルを測定した。
• 体験終了後に自己報告アンケートを実施し、参加者の感情状態およびシステムの使いやすさを評価した。
• 自己報告された感情状態と生理的データを比較し、バイオシグナルと感情反応との間の相関関係を同定した。
• 信号品質と干渉、特に頭部の動きに起因する影響を分析し、センサーの使いやすさとユーザーの快適さを評価した。

実験結果

リサーチクエスチョン

• RQ1 没入型VR環境において、ECGおよびEEGといったバイオシグナルは、リラックス、集中、ストレスといった感情状態の変化を信頼性高く示せるか？
• RQ2 自己報告された感情状態と、VR環境における客観的な生理的測定値との間には、どの程度の相関関係があるか？
• RQ3 身体的運動（例：頭部の動き）は、リアルタイムのVRアプリケーションにおけるEEGおよびECGデータの信頼性にどのように影響するか？
• RQ4 バイオスセンサーをVR教育システムに統合するにあたり、実用的な課題と設計上の考慮事項は何か？
• RQ5 バイオシグナルを用いて、学習やトレーニングの成果を向上させる感情フィードバックループを構築できるか？

主な発見

• ストレス状態では心拍数が明確に上昇しており、自己報告されたストレスレベルと整合的であり、心拍数が感情の覚醒度の信頼できる指標であることが裏付けられた。
• リラックス状態では、集中状態と比較してアルファ波活動が顕著に高かったため、アルファ波はリラックス状態の強い指標であると考えられる。
• ストレス状態では、複数の参加者でデルタ波活動が上昇しており、特に心拍数が高い参加者に顕著であった。これは、信号ノイズが存在する中でも、デルタ波がストレス状態を信頼性高く反映している可能性を示唆している。
• ベータ波活動は、集中状態において一貫した増加を示さなかった。これは、頭部の動きやセンサーの限界に起因する可能性があり、本研究の文脈では、注視状態の測定においてベータ波がやや信頼性に欠ける可能性があることを示している。
• 頭部の動きに起因する信号干渉が存在したものの、全体的な生理的反応のパターンは自己報告された感情状態と強く一致しており、バイオシグナルが二次入力としての実現可能性が裏付けられた。
• 大多数の参加者がセンサーによる干渉をほとんど感じなかったが、少数の参加者はセンサーの存在に意識的であった。これは、センサーの存在とユーザーの快適さのバランスを実現可能であることを示している。