[论文解读] A New Terrain in HCI: Emotion Recognition Interface using Biometric Data for an Immersive VR Experience

Jae Hyun Nam, Hyesun Chung+2 more|arXiv (Cornell University)|Dec 3, 2019

Emotion and Mood Recognition参考文献 44被引用 9

一句话总结

本文提出了一种无缝的情感识别接口，用于沉浸式虚拟现实（VR），通过在VR头戴设备中嵌入脑电图（EEG）和眼动追踪传感器，实时预测用户对视觉刺激的吸引力。利用生物特征数据的机器学习方法，该系统在实时情绪推断方面实现了高精度，从而能够实现个性化、情感响应式的VR体验，具有在人工智能、叙事创作和用户体验设计等领域应用的强劲潜力。

ABSTRACT

Emotion recognition technology is crucial in providing a personalized user experience. It is especially important in virtual reality(VR) to assess the user's emotions to enhance their sense of immersion. We propose an emotion recognition interface that incorporates the user's biometric data with machine learning technology for increasing user engagement in VR. Our key technologies include brainwave sensors and eye-tracking cameras embedded in a VR headset, which seamlessly acquire physiological signals, and secondly, an attractiveness recognition algorithm that uses bio-signals to predict the user's attraction on visual stimuli. We conducted experiments to test the performance of the system, and also interviewed experts and participants to acquire opinions on the system. This study demonstrated the technical feasibility of our system with high accuracy and usability. Interviewees expected that the interface will be actively used in the context of various applications. Our proposed interface could contribute to an immersive VR experience design.

研究动机与目标

• 在VR头戴设备中开发一种无缝、无感的生物特征传感系统，用于实时情绪识别。
• 研究结合EEG和眼动追踪数据预测用户对视觉刺激吸引力的可行性。
• 通过受控实验和专家/参与者访谈，评估系统的准确性和可用性。
• 探索基于生物特征的情感识别在提升VR应用中用户参与度和个性化方面的潜力。
• 为未来超越面部或语音线索、基于直接生理信号的情感识别系统奠定基础。

提出的方法

• 将干电极EEG传感器和眼动追踪摄像头集成到消费级VR头戴设备中，实现实时、非侵入性的生物特征数据采集。
• 开发一种机器学习模型，基于同步的EEG和眼动追踪数据，预测用户的吸引力评分。
• 采用时间序列分析方法，监测用户在观看VR内容时大脑活动和注视模式的动态变化。
• 应用多模态数据融合技术，提升情绪识别精度，超越单一模态方法。
• 使用因子分析识别场景中对用户吸引力影响最显著的视觉元素。
• 在受控实验中，让参与者在VR环境中观看精选的视觉刺激，同时采集生物特征信号。

实验结果

研究问题

• RQ1 配备嵌入式EEG和眼动追踪传感器的VR头戴设备能否实时准确预测用户对视觉刺激的吸引力？
• RQ2 与单一模态方法相比，结合EEG和眼动追踪数据在吸引力预测准确率上是否有显著提升？
• RQ3 在VR环境中，影响用户吸引力的关键视觉和生理因素是什么？
• RQ4 用户和专家如何评价基于生物特征的情感识别在VR中的可用性、隐私性及潜在应用场景？
• RQ5 训练数据量增加是否显著提升情感识别模型的性能？

主要发现

• 所提出的系统利用EEG和眼动追踪数据组合，在预测用户对视觉刺激的吸引力方面表现出高精度。
• 多模态数据融合（EEG + 眼动追踪）的准确率高于单一模态方法，但提升未达到统计显著性。
• 该系统能够持续实时监测情绪反应，支持VR内容的动态自适应。
• 因子分析揭示了特定视觉元素（如颜色、形状和运动）显著影响用户吸引力，且注视模式与情感参与度相关。
• 参与者和专家对个性化内容推荐、互动式叙事以及AI驱动的情感交互在VR中的应用表现出浓厚兴趣。
• 尽管准确率较高，但模型性能在训练数据量增加十倍后未显著提升，表明可能存在性能饱和或数据质量限制。