[论文解读] A Human-Centric Metaverse Enabled by Brain-Computer Interface: A Survey

Howe Yuan Zhu, Nguyen Quang Hieu+3 more|arXiv (Cornell University)|Sep 4, 2023

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本综述提出一种以人类为中心的元宇宙，依托非侵入性脑机接口（BCI）技术，实现通过思维直接控制数字化身、实时监测认知状态，并从神经信号中构建人类数字孪生（HDT）。通过整合BCI与VR/XR、人工智能及多模态传感技术，该框架提升了沉浸感，减少了运动病症状，并实现了低外部输入的个性化、持续虚拟化身体验。

ABSTRACT

The growing interest in the Metaverse has generated momentum for members of academia and industry to innovate toward realizing the Metaverse world. The Metaverse is a unique, continuous, and shared virtual world where humans embody a digital form within an online platform. Through a digital avatar, Metaverse users should have a perceptual presence within the environment and can interact and control the virtual world around them. Thus, a human-centric design is a crucial element of the Metaverse. The human users are not only the central entity but also the source of multi-sensory data that can be used to enrich the Metaverse ecosystem. In this survey, we study the potential applications of Brain-Computer Interface (BCI) technologies that can enhance the experience of Metaverse users. By directly communicating with the human brain, the most complex organ in the human body, BCI technologies hold the potential for the most intuitive human-machine system operating at the speed of thought. BCI technologies can enable various innovative applications for the Metaverse through this neural pathway, such as user cognitive state monitoring, digital avatar control, virtual interactions, and imagined speech communications. This survey first outlines the fundamental background of the Metaverse and BCI technologies. We then discuss the current challenges of the Metaverse that can potentially be addressed by BCI, such as motion sickness when users experience virtual environments or the negative emotional states of users in immersive virtual applications. After that, we propose and discuss a new research direction called Human Digital Twin, in which digital twins can create an intelligent and interactable avatar from the user's brain signals. We also present the challenges and potential solutions in synchronizing and communicating between virtual and physical entities in the Metaverse.

研究动机与目标

• 探讨非侵入性BCI技术如何通过直接整合脑电信号，提升元宇宙中的用户体验。
• 通过利用神经通路实现控制，解决当前人机交互界面直观性差和延迟高的问题。
• 提出人类数字孪生（HDT）概念，作为由脑信号驱动、可自我维持的用户虚拟表示，以实现持续的元宇宙参与。
• 识别关键的系统性技术挑战——神经多样性、多模态数据融合、实时处理——并提出基于元学习和注意力机制模型的解决方案。
• 勾勒BCI、人工智能、VR/XR与数字孪生技术交叉领域的未来研究方向，以构建可扩展、安全且个性化的元宇宙系统。

提出的方法

• 利用非侵入性BCI技术，主要通过脑电图（EEG）实时捕获脑电信号，用于检测用户意图与认知状态。
• 整合现有传感模态——眼动追踪、动作捕捉、面部表情分析与运动传感器——以构建用户整体表征。
• 采用多模态机器学习与基于注意力机制的架构（如Transformer）处理来自脑电信号、视觉与运动的异构数据流。
• 应用迁移学习与元学习技术，克服神经多样性带来的挑战，实现BCI分类器在不同用户间的泛化能力。
• 提出一种人类数字孪生（HDT）架构，通过持续的神经与行为数据，维持一个持久且智能的虚拟化身。
• 结合现实世界传感器与虚拟环境引擎，实现HDT行为与用户实时动作及心理状态的同步。

Figure 1: An illustration of a human-centric design for the Metaverse. Users’ information can be collected using human body sensing techniques, e.g., heart rate sensors, VR headsets, inertial measurement units (IMUs), and motion capture systems. Human characteristics such as body shapes, facial expr

实验结果

研究问题

• RQ1 如何利用非侵入性BCI技术实现在元宇宙中通过思维实现的直观化身控制？
• RQ2 在元宇宙中大规模部署BCI系统时，主要挑战是什么，特别是由于用户间神经多样性带来的影响？
• RQ3 如何利用脑信号与多模态生理数据构建并维护人类数字孪生（HDT），以实现持久的虚拟化身存在？
• RQ4 哪些机器学习技术能有效融合多模态数据（EEG、运动、视线、面部）以提升元宇宙交互的准确性与响应速度？
• RQ5 在基于BCI的元宇宙中，如何确保物理实体与虚拟实体之间在安全性、隐私保护与实时同步方面的可靠性？

主要发现

• BCI可通过神经信号实现对数字化身的直接、直观控制，减少对鼠标或控制器等传统输入设备的依赖。
• 神经多样性显著降低跨用户BCI分类器的性能，因此亟需采用元学习等先进技术以实现泛化能力。
• 采用注意力机制模型（如Transformer）进行多模态数据融合，可提升复杂虚拟环境中特征提取与分类的准确性。
• 人类数字孪生（HDT）可基于脑信号与行为数据构建，实现元宇宙中自主或半自主的虚拟存在。
• 迁移学习技术在相似虚拟应用（如电子商务、教育）之间复用已学习特征方面展现出潜力，可提升模型效率与可扩展性。
• 将BCI与VR/XR、人工智能及物联网技术结合，可实现更具沉浸感、个性化与响应迅速的元宇宙体验，同时减轻运动病与情绪不适。

Figure 2: The organization of the survey.