[论文解读] A feasibility study on SSVEP-based interaction with motivating and immersive virtual and augmented reality

Josef Faller, Brendan Z. Allison+5 more|arXiv (Cornell University)|Jan 15, 2017

Virtual Reality Applications and Impacts参考文献 6被引用 37

一句话总结

本可行性研究证明，基于稳态视觉诱发电位（SSVEP）的脑机接口（BCI）可有效支持在沉浸式虚拟现实（VR）和增强现实（AR）环境中使用头戴式显示器进行导航任务。三位参与者完成了复杂的导航任务，其中两人在所有条件下均成功完成，这是首次在集成的VR与AR环境中实现SSVEP-BCI的实时、头戴式交互。

ABSTRACT

Non-invasive steady-state visual evoked potential (SSVEP) based brain-computer interface (BCI) systems offer high bandwidth compared to other BCI types and require only minimal calibration and training. Virtual reality (VR) has been already validated as effective, safe, affordable and motivating feedback modality for BCI experiments. Augmented reality (AR) enhances the physical world by superimposing informative, context sensitive, computer generated content. In the context of BCI, AR can be used as a friendlier and more intuitive real-world user interface, thereby facilitating a more seamless and goal directed interaction. This can improve practicality and usability of BCI systems and may help to compensate for their low bandwidth. In this feasibility study, three healthy participants had to finish a complex navigation task in immersive VR and AR conditions using an online SSVEP BCI. Two out of three subjects were successful in all conditions. To our knowledge, this is the first work to present an SSVEP BCI that operates using target stimuli integrated in immersive VR and AR (head-mounted display and camera). This research direction can benefit patients by introducing more intuitive and effective real-world interaction (e.g. smart home control). It may also be relevant for user groups that require or benefit from hands free operation (e.g. due to temporary situational disability).

研究动机与目标

• 评估基于SSVEP的BCI在沉浸式VR和AR环境中用于实际应用任务的可行性。
• 评估激励性与沉浸式反馈模式是否能提升用户在BCI交互中的参与度与表现。
• 探索将SSVEP-BCI与AR及VR集成以实现在现实场景中免提控制的实用性。
• 确定SSVEP-BCI在复杂、动态的VR/AR环境中是否仍能保持最少的训练与校准需求。
• 研究AR与VR作为BCI系统直观、上下文敏感接口的潜力。

提出的方法

• 参与者使用在线SSVEP-BCI系统，目标刺激嵌入通过头戴式显示器呈现的VR和AR环境中。
• 刺激以特定频率（如8 Hz、10 Hz）调制，以诱发可测量的稳态视觉诱发电位（SSVEPs）。
• 实时记录脑电信号，并通过频域分析对用户意图进行分类。
• 设计了一项复杂的导航任务，要求在VR和AR条件下持续集中注意力并完成多次选择。
• 系统实现实时运行，校准需求极少，依赖预设的刺激频率和标准SSVEP分类算法。
• 参与者与集成于三维虚拟与增强环境中的刺激进行交互，模拟真实应用场景，如智能家居控制。

实验结果

研究问题

• RQ1 基于SSVEP的BCI能否在沉浸式VR和AR环境中有效用于导航任务？
• RQ2 SSVEP-BCI与VR及AR的集成如何影响用户表现与任务完成情况？
• RQ3 激励性与沉浸式反馈模式在多大程度上能提升BCI系统中的用户参与度与可用性？
• RQ4 SSVEP-BCI能否在复杂、动态的VR/AR环境中保持高性能且校准需求极少？
• RQ5 与传统2D显示相比，AR是否是现实世界BCI应用中更具可行性且更直观的接口？

主要发现

• 三位健康参与者中有两人成功完成了VR和AR条件下所有导航任务，使用SSVEP-BCI系统。
• 该系统实现了实时运行，校准需求极少，保持了SSVEP-BCI的高带宽特性。
• 沉浸式VR和AR环境被感知为具有激励性与吸引力，支持这些模式在BCI训练与应用中的可行性。
• 将目标刺激整合到三维虚拟与增强环境中，实现了无需手动输入的自然、目标导向交互。
• 本研究证实SSVEP-BCI可在头戴式沉浸环境中有效运行，这是迈向实际部署的关键一步。
• 这是首次报道通过头戴式显示器在VR和AR中嵌入刺激实现SSVEP-BCI的实施。