[논문 리뷰] A Human-Centric Metaverse Enabled by Brain-Computer Interface: A Survey

Howe Yuan Zhu, Nguyen Quang Hieu외 3명|arXiv (Cornell University)|2023. 09. 04.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 종합 검토는 비침습적 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI) 기술을 기반으로 한 인간 중심의 메타버스를 제안하며, 디지털 아바타의 사고 기반 제어, 실시간 인지 상태 모니터링, 뇌 신호로부터 유도된 인간 디지털 트윈(Human Digital Twins, HDTs)의 구축을 가능하게 한다. BCI를 가상현실(VR)/확장현실(XR), 인공지능(AI), 다중모달 센싱과 융합함으로써 몰입감을 향상시키고, 운동병을 감소시키며, 최소한의 외부 입력으로도 개인화되고 지속적인 가상 몸체 경험을 실현한다.

ABSTRACT

The growing interest in the Metaverse has generated momentum for members of academia and industry to innovate toward realizing the Metaverse world. The Metaverse is a unique, continuous, and shared virtual world where humans embody a digital form within an online platform. Through a digital avatar, Metaverse users should have a perceptual presence within the environment and can interact and control the virtual world around them. Thus, a human-centric design is a crucial element of the Metaverse. The human users are not only the central entity but also the source of multi-sensory data that can be used to enrich the Metaverse ecosystem. In this survey, we study the potential applications of Brain-Computer Interface (BCI) technologies that can enhance the experience of Metaverse users. By directly communicating with the human brain, the most complex organ in the human body, BCI technologies hold the potential for the most intuitive human-machine system operating at the speed of thought. BCI technologies can enable various innovative applications for the Metaverse through this neural pathway, such as user cognitive state monitoring, digital avatar control, virtual interactions, and imagined speech communications. This survey first outlines the fundamental background of the Metaverse and BCI technologies. We then discuss the current challenges of the Metaverse that can potentially be addressed by BCI, such as motion sickness when users experience virtual environments or the negative emotional states of users in immersive virtual applications. After that, we propose and discuss a new research direction called Human Digital Twin, in which digital twins can create an intelligent and interactable avatar from the user's brain signals. We also present the challenges and potential solutions in synchronizing and communicating between virtual and physical entities in the Metaverse.

연구 동기 및 목표

• 비침습적 BCI 기술이 직접적인 뇌 신호 통합을 통해 메타버스에서 사용자 경험을 향상시킬 수 있는 방법을 탐색한다.
• 낮은 직관성과 높은 지연 시간 등의 현재의 인간-기계 인터페이스의 한계를 해결하기 위해 신경 경로를 활용한 제어를 통해 개선한다.
• 지속적인 메타버스 참여를 위한 뇌 신호 주도의 자가유지형 가상 표현인 인간 디지털 트윈(Human Digital Twin, HDT) 개념을 제안한다.
• 신경다양성, 다중모달 데이터 융합, 실시간 처리 등의 핵심 기술적 과제를 식별하고, 메타학습 및 주의 기반 모델을 활용한 해결책을 제안한다.
• BCI, AI, VR/XR, 디지털 트윈 기술이 융합되는 미래 연구 방향을 제시하여 확장 가능하고 안전하며 개인화된 메타버스 시스템을 구현한다.

제안 방법

• 사용자의 의도와 인지 상태 탐지에 실시간 뇌 신호를 캡처하기 위해 주로 뇌전도측정(EEG)을 활용한 비침습적 BCI 기술을 사용한다.
• 눈동자 추적, 동작 캡처, 표정 분석, 운동학적 센서 등의 기존 센서 모달리티와 BCI를 융합하여 사용자에 대한 종합적인 표현을 구축한다.
• 뇌 신호, 시각, 운동 데이터에서 유래한 이질적인 데이터 스트림을 처리하기 위해 다중모달 기계학습 및 주의 기반 아키텍처(예: 트랜스포머)를 활용한다.
• 신경다양성 문제를 극복하고 BCI 분류기의 교차 사용자 일반화를 가능하게 하기 위해 전이학습 및 메타학습 기법을 적용한다.
• 지속적이고 지능적인 가상 아바타를 유지하기 위해 뇌 신호 및 행동 데이터를 기반으로 하는 인간 디지털 트윈(HDT) 아키텍처를 제안한다.
• 실체 세계 센서와 가상 환경 엔진을 결합하여 HDT의 행동을 사용자 실시간 동작과 정신 상태와 동기화한다.

Figure 1: An illustration of a human-centric design for the Metaverse. Users’ information can be collected using human body sensing techniques, e.g., heart rate sensors, VR headsets, inertial measurement units (IMUs), and motion capture systems. Human characteristics such as body shapes, facial expr

실험 결과

연구 질문

• RQ1 비침습적 BCI 기술을 어떻게 활용하여 메타버스에서 아바타의 직관적 사고 기반 제어를 실현할 수 있는가?
• RQ2 사용자 간의 신경다양성으로 인해 발생하는 메타버스에 BCI 시스템을 대규모로 구현할 때의 주요 과제는 무엇인가?
• RQ3 뇌 신호와 다중모달 생리적 데이터를 기반으로 하여 인간 디지털 트윈(HDTs)을 어떻게 구성하고 유지할 수 있는가?
• RQ4 다중모달 데이터(EEG, 운동, 시선, 표정)를 효과적으로 융합하여 메타버스 상호작용의 정확성과 반응성을 향상시키는 데 어떤 기계학습 기법이 적합한가?
• RQ5 BCI 기반 메타버스에서 물리적 실체와 가상 실체 간의 보안, 프라이버시 및 실시간 동기화를 어떻게 확보할 수 있는가?

주요 결과

• BCI는 마우스나 컨트롤러와 같은 전통적 입력 장치에 대한 의존도를 줄이며, 뇌 신호를 통한 직접적이고 직관적인 디지털 아바타 제어를 가능하게 한다.
• 신경다양성은 교차 사용자 BCI 분류기 성능을 심각하게 저하시키며, 일반화를 가능하게 하기 위해 메타학습과 같은 고급 기법이 필요하다.
• 주의 기반 모델(예: 트랜스포머)을 활용한 다중모달 데이터 융합은 복잡한 가상 환경에서 특징 추출 및 분류 정확도를 향상시킨다.
• 인간 디지털 트윈(HDTs)은 뇌 신호와 행동 데이터로부터 구성될 수 있으며, 메타버스에서 자율적 또는 반자율적 가상 존재를 실현할 수 있다.
• 전이학습 기법은 유사한 가상 응용 분야(예: 전자상거래, 교육) 간에 학습된 특징를 재사용함으로써 모델의 효율성과 확장성을 향상시킬 잠재력을 보인다.
• BCI를 VR/XR, AI, 사물인터넷(IoT)과 융합함으로써 더 몰입감 있고 개인화되며 반응성이 높은 메타버스 경험을 실현할 수 있으며, 운동병과 정서적 불편감까지 감소시킬 수 있다.

Figure 2: The organization of the survey.