[论文解读] Designing and Evaluating an Adaptive Virtual Reality System using EEG Frequencies to Balance Internal and External Attention States

Francesco Chiossi, Changkun Ou+3 more|arXiv (Cornell University)|Nov 17, 2023

Neural and Behavioral Psychology Studies被引用 7

一句话总结

本研究提出了一种自适应虚拟现实系统，利用脑电信号（特别是额叶θ波段和顶叶α波段）动态调节工作记忆N-Back任务中干扰物的视觉复杂度。通过根据实时注意力状态分类结果调节周边视觉刺激，该系统将任务准确率提升至86.49%，并降低了感知工作量，展示了在VR环境中有效平衡内在与外在注意力的潜力。

ABSTRACT

Virtual reality finds various applications in productivity, entertainment, and training scenarios requiring working memory and attentional resources. Working memory relies on prioritizing relevant information and suppressing irrelevant information through internal attention, which is fundamental for successful task performance and training. Today, virtual reality systems do not account for the impact of working memory loads resulting in over or under-stimulation. In this work, we designed an adaptive system based on EEG correlates of external and internal attention to support working memory task performance. Here, participants engaged in a visual working memory N-Back task, and we adapted the visual complexity of distracting surrounding elements. Our study first demonstrated the feasibility of EEG frontal theta and parietal alpha frequency bands for dynamic visual complexity adjustments. Second, our adaptive system showed improved task performance and diminished perceived workload compared to a reverse adaptation. Our results show the effectiveness of the proposed adaptive system, allowing for the optimization of distracting elements in high-demanding conditions. Adaptive systems based on alpha and theta frequency bands allow for the regulation of attentional and executive resources to keep users engaged in a task without resulting in cognitive overload.

研究动机与目标

• 通过使用生理信号动态调节注意力资源，解决VR环境中的认知过载问题。
• 探究与内在（θ波）和外在（α波）注意力相关的脑电图特征是否可用于引导VR中的实时自适应。
• 通过基于注意力状态微妙调整干扰性视觉元素，优化工作记忆任务的表现。
• 评估此类自适应系统是否在维持或提升任务准确率的同时，降低感知工作量。

提出的方法

• 受试者在具有动态周边干扰物的VR环境中执行视觉N-Back工作记忆任务。
• 记录了额叶θ波段（4–8 Hz）和顶叶α波段（8–12 Hz）的脑电信号，作为内在与外在注意力的指标。
• 使用线性判别分析（LDA）模型，基于这些脑电波段的功率特征对注意力状态进行分类。
• 自适应系统根据分类得到的注意力状态实时调整干扰物的视觉复杂度——当检测到外在注意力时降低复杂度。
• 作为对照，采用反向自适应条件，即在外在注意力状态下增加复杂度。
• 通过任务准确率和使用NASA-TLX量表测量的感知工作量来评估性能。

实验结果

研究问题

• RQ1 在VR环境中的N-Back任务中，额叶θ波段和顶叶α波段的脑电信号是否能可靠地分类出内在与外在注意力状态？
• RQ2 基于脑电图驱动的注意力状态分类，实时调节视觉干扰物复杂度是否能提升工作记忆任务的表现？
• RQ3 与反向自适应条件相比，该自适应系统在任务准确率和感知工作量方面表现如何？
• RQ4 低复杂度的机器学习模型（LDA）是否足以实现实时注意力状态检测？
• RQ5 在不干扰主要任务的前提下，可对周边环境特征进行多大程度的调节以实现注意力调控？

主要发现

• LDA分类器利用额叶θ波段和顶叶α波段的脑电特征，对内在与外在注意力状态的分类准确率达到86.49%。
• 与反向自适应条件相比，自适应系统显著提升了工作记忆任务表现，表明其有效支持了内在注意力。
• 参与者在自适应条件下报告的感知工作量更低，表明认知负荷减轻。
• 该系统成功根据实时脑电反馈调节了视觉复杂度，证明了动态环境自适应的可行性。
• 结果证实，通过脑电图驱动的自适应实现内在与外在注意力的平衡，可增强VR环境中的任务参与度与表现。
• 本研究验证了LDA等简单且计算效率高的模型在VR应用中实现实时生理计算的可行性。