[논문 리뷰] When Brain-Computer Interfaces Meet the Metaverse: Landscape, Demonstrator, Trends, Challenges, and Concerns

Sergio López Bernal, Mario Quiles Pérez외 3명|arXiv (Cornell University)|2022. 12. 06.

EEG and Brain-Computer Interfaces인용 수 9

한 줄 요약

이 논문은 메타버스에서 뇌-컴퓨터 인터페이스(BCI)에 대한 최초의 종합적 분석을 제시하며, 비침습적 BCI를 가상현실(VM) 헤드셋, 조작 장치, 신경 데이터 처리와 통합하는 모듈러 프레임워크를 제안한다. 시연 장치는 감정 상태 감지, 졸림 평가, 산만함 모니터링, 사용자 인증의 네 가지 사용 사례에서 80% 이상의 F1-스코어를 달성하여 높은 실현 가능성과 성능을 입증하였으며, 특히 감정 감지 및 인증에서는 약 100%의 정확도를 기록하였다.

ABSTRACT

The metaverse has gained tremendous popularity in recent years, allowing the interconnection of users worldwide. However, current systems in metaverse scenarios, such as virtual reality glasses, offer a partial immersive experience. In this context, Brain-Computer Interfaces (BCIs) can introduce a revolution in the metaverse, although a study of the applicability and implications of BCIs in these virtual scenarios is required. Based on the absence of literature, this work reviews, for the first time, the applicability of BCIs in the metaverse, analyzing the current status of this integration based on different categories related to virtual worlds and the evolution of BCIs in these scenarios in the medium and long term. This work also proposes the design and implementation of a general framework that integrates BCIs with different data sources from sensors and actuators (e.g., VR glasses) based on a modular design to be easily extended. This manuscript also validates the framework in a demonstrator consisting of driving a car within a metaverse, using a BCI for neural data acquisition, a VR headset to provide realism, and a steering wheel and pedals. Four use cases (UCs) are selected, focusing on cognitive and emotional assessment of the driver, detection of drowsiness, and driver authentication while using the vehicle. Moreover, this manuscript offers an analysis of BCI trends in the metaverse, also identifying future challenges that the intersection of these technologies will face. Finally, it reviews the concerns that using BCIs in virtual world applications could generate according to different categories: accessibility, user inclusion, privacy, cybersecurity, physical safety, and ethics.

연구 동기 및 목표

• 메타버스 환경에서 BCI의 현재 적용 가능성과 미래 잠재력을 분석하기 위해, 특히 몰입형 가상 경험을 위한 것이다.
• BCI-메타버스 통합에 대한 체계적인 연구 부족을 보완하고, 핵심 응용 시나리오, 추세 및 도전 과제를 규명하기 위해이다.
• 실시간 신경 상호작용을 위한 가상 세계에서의 BCI를 VR 하드웨어 및 센서와 통합하는 모듈러이고 확장 가능한 프레임워크를 설계하고 구현하기 위해이다.
• 운전 시뮬레이션 시연 장치를 통해 프레임워크를 검증하여 인지 및 정서 상태, 졸림, 사용자 인증을 평가하기 위해이다.
• BCI-메타버스 시스템에서 접근성, 프라이버시, 사이버보안, 신체적 안전 및 윤리와 관련된 핵심 문제를 규명하고 분석하기 위해이다.

제안 방법

• 비침습적 BCI 신경 데이터를 VR 헤드셋, 조작 휠, 페달의 입력과 융합하여 双방향 인간-컴퓨터 상호작용을 가능하게 하는 모듈러이고 확장 가능한 프레임워크 설계.
• BCI 시스템을 사용하여 비침습적 뇌파(EEG) 신호를 실시간으로 확보하고 가상 환경 피드백과 동기화하는 실시간 데이터 파이프라인 구현.
• 감정, 졸림, 산만함, 사용자 신원을 감지하기 위해 신경 신호를 처리하기 위한 AI 기반 분류 모델 통합.
• 시각적 몰입을 위한 VR 헤드셋과 촉각 피드백을 위한 물리적 제어 장치를 사용하여 메타버스 환경에서의 운전 시뮬레이션 개발.
• 표준화된 BCI 데이터셋과 실시간 신호 처리를 적용하여 저지연 상호작용과 높은 반응성 확보.
• 미래에 새로운 센서, 처리 알고리즘 또는 AI 모델을 통합할 수 있도록 모듈러 소프트웨어 아키텍처 적용.

실험 결과

연구 질문

• RQ1 BCI는 메타버스 환경에 어떻게 효과적으로 통합되어 사용자 몰입도와 상호작용을 향상시킬 수 있는가?
• RQ2 지속적인 3차원 가상 세계에서 BCI를 구현함에 있어 핵심적인 기술적, 윤리적, 보안 과제는 무엇인가?
• RQ3 비침습적 BCI를 VR 하드웨어 및 센서와 통합하는 데 성공적인 모듈러 프레임워크를 설계할 수 있는가? 이를 통해 실시간 인지 및 정서 평가가 가능해지는가?
• RQ4 운전 시뮬레이션과 같은 BCI 기반 메타버스 응용 분야에서 졸림 감지, 정서 인식, 사용자 인증 등의 성능 수준은 어느 정도 달성될 수 있는가?
• RQ5 특히 프라이버시, 사이버보안 및 신체적 안전 측면에서 메타버스에서의 BCI 사용과 관련된 장기적 추세와 위험 요소는 무엇인가?

주요 결과

• 제안된 프레임워크는 비침습적 BCI를 VR 하드웨어 및 물리적 제어 장치와 성공적으로 통합하여 메타버스 운전 시뮬레이션에서 실시간 상호작용을 가능하게 하였다.
• 감정 감지, 졸림 평가, 산만함 모니터링, 사용자 인증의 네 가지 사용 사례에서 모두 F1-스코어가 80% 이상을 기록하였다.
• 감정 감지 및 사용자 인증 성능은 약 100% F1-스코어에 가까워 높은 신뢰성을 보였다.
• 시연 장치를 통해 몰입형 가상 환경에서 인지 및 정서 상태 모니터링을 위한 BCI의 실현 가능성을 확인하였다.
• 사이버보안 측면에서 뇌 신호를 조작하거나 사용자 경험을 왜곡할 수 있는 신경 공격의 가능성이 뚜렷하게 드러났다.
• 윤리적 우려 사항이 제기되었으며, 고해상도 신경 데이터의 도청 또는 조작을 통한 감시나 조작 가능성과, 뇌자극 기반 공격로 인한 신체적 피해 위험성이 존재한다.