[論文レビュー] Designing and Evaluating an Adaptive Virtual Reality System using EEG Frequencies to Balance Internal and External Attention States

Francesco Chiossi, Changkun Ou+3 more|arXiv (Cornell University)|Nov 17, 2023

Neural and Behavioral Psychology Studies被引用数 7

ひとこと要約

本研究では、作業記憶Nバックタスク中に、前頭前野テータ帯（4–8 Hz）および頂小頭アルファ帯（8–12 Hz）のEEG信号を用いて、仮想現実（VR）環境で視覚的複雑度を動的に調整する適応型仮想現実システムを提示する。リアルタイムでの注意状態分類に基づき、周辺視覚刺激の複雑度を制御することで、タスクの正確性を86.49％まで向上させるとともに、主観的負荷を低減した。これは、VR環境における内部的および外部的注意の適切なバランスを実現したことを示している。

ABSTRACT

Virtual reality finds various applications in productivity, entertainment, and training scenarios requiring working memory and attentional resources. Working memory relies on prioritizing relevant information and suppressing irrelevant information through internal attention, which is fundamental for successful task performance and training. Today, virtual reality systems do not account for the impact of working memory loads resulting in over or under-stimulation. In this work, we designed an adaptive system based on EEG correlates of external and internal attention to support working memory task performance. Here, participants engaged in a visual working memory N-Back task, and we adapted the visual complexity of distracting surrounding elements. Our study first demonstrated the feasibility of EEG frontal theta and parietal alpha frequency bands for dynamic visual complexity adjustments. Second, our adaptive system showed improved task performance and diminished perceived workload compared to a reverse adaptation. Our results show the effectiveness of the proposed adaptive system, allowing for the optimization of distracting elements in high-demanding conditions. Adaptive systems based on alpha and theta frequency bands allow for the regulation of attentional and executive resources to keep users engaged in a task without resulting in cognitive overload.

研究の動機と目的

• 生理的信号を用いて注意資源を動的に制御することで、VR環境における認知的過負荷を軽減すること。
• 内部的（テータ）および外部的（アルファ）注意のEEG指標が、VR環境におけるリアルタイムの適応を導くために使用可能かどうかを調査すること。
• 注意状態に基づいて、微妙に変化する誘導的視覚的要素を調整することで、作業記憶タスクのパフォーマンスを最適化すること。
• このような適応型システムが、タスクの正確性を維持または向上させつつ、主観的負荷を低減するかどうかを評価すること。

提案手法

• 参加者は、動的な周辺的誘導要因を有するVR環境で視覚的Nバック作業記憶タスクを実行した。
• 前頭前野テータ帯（4–8 Hz）および頭頂小頭アルファ帯（8–12 Hz）の周波数帯におけるEEG信号を、内部的および外部的注意の指標として収集した。
• 線形判別分析（LDA）モデルを用いて、これらのEEG帯域からのパワー特徴を用いて注意状態を分類した。
• 分類された注意状態に基づき、リアルタイムで誘導要因の視覚的複雑度を調整する適応型システムを構築した。外部的注意が検出された場合には、複雑度を低下させた。
• 対照条件として、外部的注意状態の際には複雑度を増加させる逆方向の適応条件を用いた。
• パフォーマンスはタスクの正確性およびNASA-TLXスケールを用いた主観的負荷によって測定した。

実験結果

リサーチクエスチョン

• RQ1 VR環境のNバックタスクにおいて、前頭前野テータ帯および頭頂小頭アルファ帯のEEG帯が、内部的および外部的注意状態を信頼性高く分類可能かどうか。
• RQ2 EEGに基づく注意状態分類を用いて、視覚的誘導要因の複雑度をリアルタイムで適応させることで、作業記憶タスクのパフォーマンスが向上するかどうか。
• RQ3 適応型システムは、逆方向適応条件と比較して、タスクの正確性および主観的負荷の観点でどのように異なるか。
• RQ4 低複雑性の機械学習モデル（LDA）が、VR環境におけるリアルタイムの注意状態検出に十分な正確性を達成できるか。
• RQ5 主なタスクに影響を与えることなく、周辺環境の特徴をどれだけ制御して注意を調節できるか。

主な発見

• LDA分類器は、前頭前野テータ帯および頭頂小頭アルファ帯からのEEG特徴を用いて、内部的および外部的注意状態を86.49％の正確性で区別できた。
• 逆方向適応条件と比較して、適応型システムは作業記憶タスクのパフォーマンスが顕著に向上した。これは、内部的注意を効果的に支援したことを示している。
• 参加者らは適応型条件において、より低い主観的負荷を報告した。これは認知的負担が軽減されたことを示唆している。
• システムはリアルタイムでのEEGフィードバックに応じて視覚的複雑度を効果的に制御でき、動的な環境適応の実現可能性を示した。
• 結果から、EEG駆動の適応によって内部的および外部的注意をバランスさせることで、VR環境におけるタスクへの関与およびパフォーマンスが向上することが確認された。
• 本研究では、リアルタイムの生理的コンピューティングにおけるVRアプリケーションとして、単純で計算効率の良いモデル（LDA）の有効性が裏付けられた。