[论文解读] A Multimodal Approach to Estimating Vigilance Using EEG and Forehead EOG

Wei‐Long Zheng, Bao‐Liang Lu|arXiv (Cornell University)|Nov 25, 2016

EEG and Brain-Computer Interfaces参考文献 51被引用 5

一句话总结

本文提出一种可穿戴的多模态方法，通过额头上的四个共用电极采集脑电图（EEG）和前额眼电图（EOG）信号，实现持续警觉性估计。通过融合EEG与EOG特征，并利用连续条件随机场建模时间动态，该方法在单模态方法之上实现了性能提升（相关系数为0.85，均方根误差为0.09），证明了低成本、真实场景下被动脑机接口在持续注意力监测中的可行性。

ABSTRACT

Objective. Covert aspects of ongoing user mental states provide key context information for user-aware human computer interactions. In this paper, we focus on the problem of estimating the vigilance of users using EEG and EOG signals. Approach. To improve the feasibility and wearability of vigilance estimation devices for real-world applications, we adopt a novel electrode placement for forehead EOG and extract various eye movement features, which contain the principal information of traditional EOG. We explore the effects of EEG from different brain areas and combine EEG and forehead EOG to leverage their complementary characteristics for vigilance estimation. Considering that the vigilance of users is a dynamic changing process because the intrinsic mental states of users involve temporal evolution, we introduce continuous conditional neural field and continuous conditional random field models to capture dynamic temporal dependency. Main results. We propose a multimodal approach to estimating vigilance by combining EEG and forehead EOG and incorporating the temporal dependency of vigilance into model training. The experimental results demonstrate that modality fusion can improve the performance compared with a single modality, EOG and EEG contain complementary information for vigilance estimation, and the temporal dependency-based models can enhance the performance of vigilance estimation. From the experimental results, we observe that theta and alpha frequency activities are increased, while gamma frequency activities are decreased in drowsy states in contrast to awake states. Significance. The forehead setup allows for the simultaneous collection of EEG and EOG and achieves comparative performance using only four shared electrodes in comparison with the temporal and posterior sites.

研究动机与目标

• 开发一种可穿戴的低成本系统，用于真实场景下的持续警觉性估计。
• 探究使用额头电极同时记录EEG与EOG信号的可行性，以提升信号采集质量与可穿戴性。
• 探索EEG与EOG之间互补信息在增强警觉性估计中的作用。
• 利用连续条件神经场与随机场建模警觉性的动态时间演化过程。
• 提供一种标准化的连续警觉性度量，可类比于血液酒精浓度，避免离散分类。

提出的方法

• 使用额头上的四个共用电极同时记录EEG与EOG信号，实现紧凑且可穿戴的系统配置。
• 从前额EOG中提取眼动特征（VEO、HEO），以捕捉与警觉性相关的眼球活动。
• 分析不同脑区的EEG信号，重点关注频带功率变化（θ波段、α波段、γ波段）。
• 采用多模态融合策略，结合EEG与前额EOG特征，以利用其互补信息。
• 采用连续条件随机场（CCRF）与连续条件神经场（CCNF）建模警觉性的时序动态。
• 端到端训练模型，以高时间分辨率预测连续警觉性水平。

实验结果

研究问题

• RQ1 四电极额头配置能否可靠地捕捉EEG与EOG信号以实现警觉性估计？
• RQ2 EEG与前额EOG特征在警觉性水平估计中如何互补？
• RQ3 与静态模型相比，建模警觉性的时间依赖性是否能提升估计准确性？
• RQ4 与警觉状态相比，困倦状态下的特征EEG频带功率变化有何特征？
• RQ5 这种多模态、基于额头的方案能否实现与使用后颞部电极的传统系统相当的性能？

主要发现

• 通过时间建模实现EEG与前额EOG的多模态融合，达到相关系数0.85与均方根误差0.09，显著优于单模态方法。
• 仅基于EEG的警觉性估计达到相关系数0.70与均方根误差0.13，而仅基于前额EOG则达到0.78与0.12。
• 困倦状态相较于警觉状态表现为θ波段与α波段功率增加，γ波段功率降低。
• 额头电极配置实现了仅用四个电极即可同时高质量记录EEG与EOG，性能与使用独立电极的传统系统相当。
• 通过连续条件随机场进行时间建模，有效捕捉了警觉性的动态演化，提升了估计准确性。
• 所提出方法在真实场景下实现可穿戴、被动脑机接口系统用于持续注意力监测方面展现出强大可行性。