[論文レビュー] A feasibility study on SSVEP-based interaction with motivating and immersive virtual and augmented reality

Josef Faller, Brendan Z. Allison+5 more|arXiv (Cornell University)|Jan 15, 2017

Virtual Reality Applications and Impacts参考文献 6被引用数 37

ひとこと要約

この可能性調査では、ヘッドマウントディスプレイを用いたインマージングバーチャルリアリティ（VR）および拡張現実（AR）環境において、定常状態視覚誘発反応（SSVEP）に基づく脳-コンピュータインターフェース（BCI）が、ナビゲーションタスクを効果的に支援できることを示している。3名の参加者が複雑なナビゲーションタスクを完了し、そのうち2名がすべての条件下で成功を収めた。これは、リアルタイムでヘッドマウントされた相互作用を伴う統合VRおよびAR環境におけるSSVEP-BCIの初の実装である。

ABSTRACT

Non-invasive steady-state visual evoked potential (SSVEP) based brain-computer interface (BCI) systems offer high bandwidth compared to other BCI types and require only minimal calibration and training. Virtual reality (VR) has been already validated as effective, safe, affordable and motivating feedback modality for BCI experiments. Augmented reality (AR) enhances the physical world by superimposing informative, context sensitive, computer generated content. In the context of BCI, AR can be used as a friendlier and more intuitive real-world user interface, thereby facilitating a more seamless and goal directed interaction. This can improve practicality and usability of BCI systems and may help to compensate for their low bandwidth. In this feasibility study, three healthy participants had to finish a complex navigation task in immersive VR and AR conditions using an online SSVEP BCI. Two out of three subjects were successful in all conditions. To our knowledge, this is the first work to present an SSVEP BCI that operates using target stimuli integrated in immersive VR and AR (head-mounted display and camera). This research direction can benefit patients by introducing more intuitive and effective real-world interaction (e.g. smart home control). It may also be relevant for user groups that require or benefit from hands free operation (e.g. due to temporary situational disability).

研究の動機と目的

• インマージングバーチャルリアリティ（VR）および拡張現実（AR）環境において、現実世界の応用に適したタスクにSSVEPベースのBCIを用いる可能性を評価すること。
• 動機付けられると感じられ、インマージングなフィードバックモダリティが、BCIインタラクションにおけるユーザーの関与度とパフォーマンスを向上させるかどうかを評価すること。
• ARおよびVRを用いたSSVEP-BCIの統合が、現実世界のシナリオにおけるハンドフリー制御に実用的かどうかを検討すること。
• 複雑で動的なVR/AR環境においても、SSVEP-BCIの最小限のトレーニングおよびキャリブレーション要件が維持されるかどうかを特定すること。
• ARおよびVRが、BCIシステムのための直感的で文脈に敏感なインターフェースとしての可能性を調査すること。

提案手法

• 参加者は、ヘッドマウントディスプレイで表示されたVRおよびAR環境に埋め込まれたターゲット刺激を用いたオンラインSSVEPベースのBCIシステムを使用した。
• 刺激は特定の周波数（例：8 Hz、10 Hz）で変調され、測定可能な定常状態視覚誘発反応（SSVEP）を誘発した。
• EEG信号はリアルタイムで記録され、周波数ドメイン解析を用いて分類され、ユーザーの意思を検出した。
• 持続的な注意とVRおよびAR両条件での複数選択を要する複雑なナビゲーションタスクが設計された。
• システムはリアルタイムで動作し、最小限のキャリブレーションに依存しており、事前に定義された刺激周波数と標準的なSSVEP分類アルゴリズムを利用した。
• 参加者は、スマートホーム制御などの現実世界の応用を模倣する3次元バーチャルおよび拡張現実環境に統合された刺激とインタラクトした。

実験結果

リサーチクエスチョン

• RQ1 SSVEPベースのBCIは、インマージングVRおよびAR環境においてナビゲーションタスクに効果的に使用可能か？
• RQ2 VRおよびARとSSVEP-BCIを統合することにより、ユーザーのパフォーマンスおよびタスク完了にどのような影響を与えるか？
• RQ3 動機付けられると感じられ、インマージングなフィードバックモダリティは、BCIシステムにおけるユーザーの関与度と使いやすさをどの程度向上させるか？
• RQ4 複雑で動的なVR/AR設定において、SSVEP-BCIは最小限のキャリブレーションで高いパフォーマンスを維持できるか？
• RQ5 従来の2次元ディスプレイと比較して、ARは現実世界のBCIアプリケーションにおいて実用的でより直感的なインターフェースと見なせるか？

主な発見

• 健康な参加者のうち3名中2名が、VRおよびAR両条件においてすべてのナビゲーションタスクを効果的に完了した。
• システムは最小限のキャリブレーションでリアルタイム動作を示し、SSVEP-BCIの高い帯域幅特性を維持した。
• インマージングなVRおよびAR環境は、動機付けられると感じられ、関与度が高まるため、BCIのトレーニングおよび応用に適したモダリティであると認識された。
• ターゲット刺激を3次元バーチャルおよび拡張現実環境に統合することで、手動入力なしに自然で目的指向のインタラクションが可能になった。
• 本研究は、SSVEP-BCIがヘッドマウント型のインマージング環境でも効果的に機能することを確認した。これは、現実世界への展開に向けた重要な一歩である。
• これは、ヘッドマウントディスプレイを通じてVRおよびARの両方の環境に刺激を埋め込んだSSVEP-BCIの報告された初の実装である。