[論文レビュー] A Human-Centric Metaverse Enabled by Brain-Computer Interface: A Survey

Howe Yuan Zhu, Nguyen Quang Hieu+3 more|arXiv (Cornell University)|Sep 4, 2023

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本調査では、非侵襲的脳インターフェース（BCI）技術を活用した人間中心のメタバースを提案し、思考に基づくデジタルアバター制御、認知状態のリアルタイムモニタリング、神経信号からの人間デジタルツイン（HDT）の構築を可能にする。BCIをVR/XR、AI、マルチモーダルセンシングと統合することで、没入感を高め、運動障害を軽減し、最小限の外部入力で個人に合わせた継続的な仮想体験を実現する。

ABSTRACT

The growing interest in the Metaverse has generated momentum for members of academia and industry to innovate toward realizing the Metaverse world. The Metaverse is a unique, continuous, and shared virtual world where humans embody a digital form within an online platform. Through a digital avatar, Metaverse users should have a perceptual presence within the environment and can interact and control the virtual world around them. Thus, a human-centric design is a crucial element of the Metaverse. The human users are not only the central entity but also the source of multi-sensory data that can be used to enrich the Metaverse ecosystem. In this survey, we study the potential applications of Brain-Computer Interface (BCI) technologies that can enhance the experience of Metaverse users. By directly communicating with the human brain, the most complex organ in the human body, BCI technologies hold the potential for the most intuitive human-machine system operating at the speed of thought. BCI technologies can enable various innovative applications for the Metaverse through this neural pathway, such as user cognitive state monitoring, digital avatar control, virtual interactions, and imagined speech communications. This survey first outlines the fundamental background of the Metaverse and BCI technologies. We then discuss the current challenges of the Metaverse that can potentially be addressed by BCI, such as motion sickness when users experience virtual environments or the negative emotional states of users in immersive virtual applications. After that, we propose and discuss a new research direction called Human Digital Twin, in which digital twins can create an intelligent and interactable avatar from the user's brain signals. We also present the challenges and potential solutions in synchronizing and communicating between virtual and physical entities in the Metaverse.

研究の動機と目的

• 非侵襲的BCI技術が、脳信号の直接統合によってメタバースにおけるユーザーエクスペリエンスをどのように向上させられるかを調査すること。
• 従来の人間-機械インターフェースにおける低直感性や高レイテンシーといった課題を、制御に神経経路を活用することで解決すること。
• ユーザーの自己持続的かつ脳信号駆動の仮想的表現としての「人間デジタルツイン（HDT）」の概念を提唱し、継続的なメタバース参加を可能にすること。
• 神経多様性、マルチモーダルデータ統合、リアルタイム処理といった主な技術的課題を特定し、メタラーニングと注目メカニズムベースのモデルを用いて解決策を提案すること。
• BCI、AI、VR/XR、デジタルツイン技術の交差分野における今後の研究方向性を提示し、スケーラブルで安全かつパーソナライズされたメタバースシステムを実現すること。

提案手法

• 主にEEGを用いて、リアルタイムの脳信号を取得し、ユーザーの意思および認知状態を検出する非侵襲的BCI技術を活用する。
• 眼動追跡、モーショングレーティング、顔の表情分析、運動学的センサなど、既存のセンシングモダリティと統合し、包括的なユーザーモデルを構築する。
• 脳信号、視覚、運動からの異種データストリームを処理するため、マルチモーダル機械学習および注目メカニズムベースのアーキテクチャ（例：トランスフォーマー）を採用する。
• 神経多様性の課題を克服し、BCI分類器のユーザー間一般化を実現するために、トランスファー学習およびメタラーニング技術を適用する。
• 継続的な神経および行動データを用いて、恒久的かつ知能的な仮想アバターを維持する人間デジタルツイン（HDT）アーキテクチャを提唱する。
• 物理世界のセンサと仮想環境エンジンを統合し、HDTの行動をリアルタイムのユーザー行動および精神状態と同期する。

Figure 1: An illustration of a human-centric design for the Metaverse. Users’ information can be collected using human body sensing techniques, e.g., heart rate sensors, VR headsets, inertial measurement units (IMUs), and motion capture systems. Human characteristics such as body shapes, facial expr

実験結果

リサーチクエスチョン

• RQ1 非侵襲的BCI技術をどのように活用すれば、メタバースにおけるアバターの直感的で思考ベースの制御を実現できるか？
• RQ2 特にユーザー間の神経多様性の影響を受けることから、BCIシステムをメタバースで大規模に展開するにあたっての主な課題は何か？
• RQ3 脳信号およびマルチモーダル生理的データを用いて、どのようにして恒久的な仮想体験を実現する人間デジタルツイン（HDT）を構築・維持できるか？
• RQ4 脳波（EEG）、運動、視線、顔の表情といったマルチモーダルデータを効果的に統合するための機械学習技術は何か？ これにより、メタバースでのインタラクションの正確性と応答性がどのように向上するか？
• RQ5 BCIを活用したメタバースにおいて、物理的・仮想的エージェント間のセキュリティ、プライバシー、リアルタイム同期をどのように確保できるか？

主な発見

• BCIにより、マウスやコントローラーといった従来の入力デバイスへの依存を減らし、脳信号による直接的で直感的なアバター制御が可能になる。
• 神経多様性は、ユーザー間でのBCI分類器の性能を顕著に低下させるため、一般化を実現するための高度な技術（例：メタラーニング）の導入が不可欠である。
• 注目メカニズムベースのモデル（例：トランスフォーマー）を用いたマルチモーダルデータ統合により、複雑な仮想環境における特徴抽出および分類精度が向上する。
• 人間デジタルツイン（HDT）は、脳信号および行動データから構築可能であり、メタバースにおける自律的または準自律的な仮想存在を実現できる。
• トランスファー学習技術は、類似した仮想アプリケーション（例：電子商取引、教育）間で学習済み特徴を再利用できることから、モデルの効率性とスケーラビリティの向上に有効である。
• BCIをVR/XR、AI、IoTと統合することで、没入感を高め、パーソナライズされ、応答性の高いメタバース体験が実現可能になる。同時に、運動障害や感情的不快感の軽減も達成される。

Figure 2: The organization of the survey.