[论文解读] Capsule Attention for Multimodal EEG and EOG Spatiotemporal Representation Learning with Application to Driver Vigilance Estimation

Guangyi Zhang, Sadegh Etemad|arXiv (Cornell University)|Dec 17, 2019

EEG and Brain-Computer Interfaces参考文献 29被引用 17

一句话总结

本文提出了一种胶囊注意力增强的LSTM架构，用于多模态EEG和EOG信号分析，以提升驾驶员警觉性估计性能。通过将胶囊网络中的动态路由与LSTM的时序建模相结合，该方法能够捕捉分层时空依赖关系，并在警觉性分类任务上达到最先进性能。

ABSTRACT

Driver vigilance estimation is an important task for transportation safety. Wearable and portable brain-computer interface devices provide a powerful means for real-time monitoring of the vigilance level of drivers, thus help with avoiding distracted or impaired driving. In this paper, we propose a novel multimodal architecture for in-vehicle vigilance estimation from Electroencephalogram and Electrooculogram. However, most current works in the area lack an effective framework for learning the part-whole relationships within the data and learning useful spatiotemporal representations. To tackle this problem and other issues associated with multimodal biological signal analysis, we propose an architecture composed of a capsule attention mechanism following a deep Long Short-Term Memory (LSTM) network. Our model learns both temporal and hierarchical/spatial dependencies in the data through the LSTM and capsule feature representation layers. To better explore the discriminative ability of the learned representations, we study the effect of the proposed capsule attention mechanism including the number of dynamic routing iterations as well as other parameters. Experiments show the robustness of our method by outperforming other solutions and baseline techniques, setting a new state-of-the-art.

研究动机与目标

• 解决在驾驶员警觉性估计中，对多模态EEG和EOG信号中部件-整体关系建模不足的问题。
• 学习能够捕捉大脑活动与眼球运动信号中时序动态及分层空间依赖关系的鲁棒时空表征。
• 研究胶囊注意力机制参数（如动态路由迭代次数）对表征质量与分类性能的影响。
• 开发一种统一架构，有效融合EEG与EOG模态，实现面向车载实时警觉性监测的多模态融合。

提出的方法

• 采用深度长短期记忆（LSTM）网络对序列化EEG和EOG信号中的时序依赖关系进行建模。
• 在LSTM之后集成胶囊注意力机制，以学习分层特征表征，并捕捉数据中的部件-整体关系。
• 在胶囊层中应用动态路由，以实现类似注意力的特征变换，提升判别性表征学习能力。
• 通过分析路由迭代次数及其他超参数对模型性能的影响，优化胶囊注意力机制。
• 通过胶囊网络融合多模态EEG与EOG特征，以增强警觉性分类任务的表征学习能力。
• 使用带标签的警觉性数据，通过监督学习端到端训练模型，以预测驾驶员警觉水平。

实验结果

研究问题

• RQ1 与标准注意力机制或池化层相比，胶囊注意力机制在多模态EEG和EOG信号中捕捉分层与空间关系的效率如何？
• RQ2 胶囊网络中动态路由的迭代次数对学习表征质量与分类准确率有何影响？
• RQ3 与现有最先进方法相比，所提出的多模态架构在警觉性估计性能上提升程度如何？
• RQ4 LSTM与胶囊注意力的集成是否能协同建模生物信号中的时序动态与空间层次结构，从而提升表征学习能力？

主要发现

• 所提出的胶囊注意力-LSTM模型在驾驶员警觉性估计任务中优于现有基线方法，实现了新的最先进性能。
• 胶囊注意力机制显著提升了模型从多模态EEG与EOG数据中学习判别性时空表征的能力。
• 胶囊层中动态路由的迭代次数对模型性能具有显著影响，最优设置可提升分类准确率。
• LSTM与胶囊网络的集成有效实现了对大脑与眼球运动信号中时序序列及分层空间结构的建模。
• 该模型在不同数据划分与条件下均表现出强鲁棒性，表明其在真实车载监控应用中具备优异的泛化能力。