[論文レビュー] A Multimodal Approach to Estimating Vigilance Using EEG and Forehead EOG

Wei‐Long Zheng, Bao‐Liang Lu|arXiv (Cornell University)|Nov 25, 2016

EEG and Brain-Computer Interfaces参考文献 51被引用数 5

ひとこと要約

本論文では、額の4つの共有電極を用いて収集されたEEGおよび額部EOG信号を用いた、連続的アラート状態推定のためのウェアラブルでマルチモーダルな手法を提案する。EEGとEOG特徴量の統合に加え、連続的条件付きランダムフィールドを用いた時間的ダイナミクスのモデリングにより、単一モodalな手法よりも優れた性能（相関係数0.85、RMSE 0.09）を達成し、持続的注意監視に適した低コストで現実世界向けの受動的BCIの実現可能性を示した。

ABSTRACT

Objective. Covert aspects of ongoing user mental states provide key context information for user-aware human computer interactions. In this paper, we focus on the problem of estimating the vigilance of users using EEG and EOG signals. Approach. To improve the feasibility and wearability of vigilance estimation devices for real-world applications, we adopt a novel electrode placement for forehead EOG and extract various eye movement features, which contain the principal information of traditional EOG. We explore the effects of EEG from different brain areas and combine EEG and forehead EOG to leverage their complementary characteristics for vigilance estimation. Considering that the vigilance of users is a dynamic changing process because the intrinsic mental states of users involve temporal evolution, we introduce continuous conditional neural field and continuous conditional random field models to capture dynamic temporal dependency. Main results. We propose a multimodal approach to estimating vigilance by combining EEG and forehead EOG and incorporating the temporal dependency of vigilance into model training. The experimental results demonstrate that modality fusion can improve the performance compared with a single modality, EOG and EEG contain complementary information for vigilance estimation, and the temporal dependency-based models can enhance the performance of vigilance estimation. From the experimental results, we observe that theta and alpha frequency activities are increased, while gamma frequency activities are decreased in drowsy states in contrast to awake states. Significance. The forehead setup allows for the simultaneous collection of EEG and EOG and achieves comparative performance using only four shared electrodes in comparison with the temporal and posterior sites.

研究の動機と目的

• 現実世界の環境において連続的アラート状態推定を実現するウェアラブルで低コストのシステムの開発。
• 額部電極を用いてEEGおよびEOG信号を同時に記録する手法の実現可能性の調査。これにより、信号収集の質と装着性が向上する。
• EEGとEOGの相補的な情報が、アラート状態推定の向上にどのように寄与するかの検討。
• 連続的条件付きニューラルフィールドおよびランダムフィールドを用いて、アラート状態の時間的変化をモデリング。
• 離散的分類に代わる、血液中アルコール濃度と同等の標準化された連続的アラート状態測定の提供。

提案手法

• 額の4つの共有電極を用いてEEGおよびEOG信号を同時に記録し、コンactで装着可能なウェアラブルな構成を実現。
• 額部EOGから眼動作用特徴量（VEO、HEO）を抽出し、アラート状態に関連する眼の活動を捉える。
• 脳領域ごとにEEG信号を分析し、周波数帯域パワーの変化（θ、α、γ）に注目する。
• EEGおよび額部EOG特徴量の相補的特徴を活かすためのマルチモーダル統合戦略を採用。
• 連続的条件付きランダムフィールド（CCRF）および連続的条件付きニューラルフィールド（CCNF）を用いて、アラート状態の時間的ダイナミクスをモデリング。
• 高時間分解能で連続的アラート状態レベルを予測できるように、モデルをエンドツーエンドで学習。

実験結果

リサーチクエスチョン

• RQ1 4電極の額部セットアップは、アラート状態推定に向け、EEGおよびEOG信号を信頼性高く捉えることができるか？
• RQ2 EEGおよび額部EOG特徴量は、アラート状態推定においてどのように相補的であるか？
• RQ3 アラート状態の時間的依存性をモデリングすることで、静的モデルに比べ推定精度が向上するか？
• RQ4 眠気状態と覚醒状態の間に特徴的なEEG周波数帯域パワーの変化は何か？
• RQ5 本研究のマルチモーダルで額部に依存する手法は、後頭部および側頭部電極を用いる従来のシステムと同等の性能を達成できるか？

主な発見

• 時間的モデリングを組み合わせたEEGおよび額部EOGのマルチモーダル統合により、相関係数0.85、RMSE 0.09の高い性能を達成。単一モダリティ手法を顕著に上回った。
• EEGベースのアラート状態推定では相関係数0.70、RMSE 0.13を達成。額部EOG単体でも相関係数0.78、RMSE 0.12を達成。
• 眠気状態では、覚醒状態に比べθ帯およびα帯パワーが上昇し、γ帯パワーが低下した。
• 額部電極によるセットアップにより、4電極でEEGおよびEOGの両方を同時に高品質に記録可能であり、別々の電極を用いる従来手法と同等の性能を達成。
• 連続的条件付きランダムフィールドによる時間的ダイナミクスのモデリングは、アラート状態の動的変化を効果的に捉え、推定精度の向上に寄与した。
• 本手法は、持続的注意監視を要する現実世界の応用に適したウェアラブルで受動的なBCIシステムとしての強力な実現可能性を示した。