[论文解读] Early Detection of Mental Stress Using Advanced Neuroimaging and Artificial Intelligence

Fares Al-Shargie|arXiv (Cornell University)|Mar 20, 2019

EEG and Brain-Computer InterfacesNeuroscience参考文献 143被引用 20

一句话总结

本研究提出了一种新颖的融合框架，结合脑电图（EEG）与功能性近红外光谱（fNIRS）信号，采用联合独立成分分析（jICA）与典型相关分析（CCA），以提升对心理压力的早期检测。融合方法显著提高了分类准确率、灵敏度与特异性——相较于单一模态最高提升13.03%，表明结合神经影像与人工智能可作为压力检测的稳健生物标志物。

ABSTRACT

While different neuroimaging modalities have been proposed to detect mental stress, each modality experiences certain limitations. This study proposed novel approaches to detect stress based on fusion of EEG and fNIRS signals in the feature-level using joint independent component analysis (jICA) and canonical correlation analysis method (CCA) and predected the level of stress using machine-learning approach. The jICA and CCA were then developed to combine the features to detect mental stress. The jICA fusion scheme discovers relationships between modalities by utilizing ICA to identify sources from each modality that modulate in the same way across subjects. The CCA fuse information from two sets of features to discover the associations across modalities and to ultimately estimate the sources responsible for these associations. The study further explored the functional connectivity (FC) and evaluated the performance of the fusion methods based on their classification performance and compared it with the result obtained by each individual modality. The jICA fusion technique significantly improved the classification accuracy, sensitivity and specificity on average by +3.46% compared to the EEG and +11.13% compared to the fNIRS. Similarly, CCA method improved the classification accuracy, sensitivity and specificity on average by +8.56% compared to the EEG and +13.03% compared to the fNIRS, respectively. The overall performance of the proposed fusion methods significantly improved the detection rate of mental stress, p<0.05. The FC significantly reduced under stress and suggested EEG and fNIRS as a potential biomarker of stress.

研究动机与目标

• 为克服单一神经影像模态（EEG与fNIRS）在检测心理压力方面的局限性。
• 开发一种特征级融合方法，整合多模态脑信号以提升压力分类性能。
• 评估压力状态下功能连接的变化，并探讨其作为神经生理生物标志物的潜力。
• 比较融合技术（jICA与CCA）与单一模态在分类压力水平方面的性能表现。
• 建立一种可靠、数据驱动的方法，利用先进信号处理与机器学习技术实现心理压力的早期检测。

提出的方法

• 采用联合独立成分分析（jICA）识别EEG与fNIRS信号中在受试者间共同变化的源成分。
• 应用典型相关分析（CCA）发现EEG与fNIRS特征集之间的线性关系，以最大化其相关性。
• 通过jICA与CCA在特征层面融合两种模态的特征，以增强压力分类的判别能力。
• 使用机器学习分类器基于融合后的特征预测压力水平，性能通过准确率、灵敏度与特异性进行评估。
• 量化EEG与fNIRS信号在压力状态下的功能连接（FC）变化，以评估其神经生理学相关性。
• 使用包含190页、67幅图与9张表格的数据集验证融合框架，确保稳健的统计分析（p < 0.05）。

实验结果

研究问题

• RQ1 联合ICA与CCA能否有效融合EEG与fNIRS信号，使心理压力检测性能超越单一模态？
• RQ2 EEG与fNIRS在心理压力下的功能连接如何变化？这些变化能否作为可靠的生物标志物？
• RQ3 与单一模态方法相比，多模态融合（jICA与CCA）在分类压力水平方面的性能增益如何？
• RQ4 融合技术在多大程度上提升了压力检测的灵敏度与特异性？
• RQ5 所提出的融合框架在提升心理压力分类准确率方面是否具有统计显著性？

主要发现

• 与EEG相比，jICA融合方法平均提升了3.46%的分类准确率、灵敏度与特异性；与fNIRS相比，平均提升11.13%。
• 与EEG相比，CCA融合方法在分类性能上平均提升8.56%；与fNIRS相比，平均提升13.03%。
• 在心理压力状态下，功能连接显著下降，表明存在可测量的神经生理反应。
• 两种融合技术的整体性能均具有统计显著性（p < 0.05），证实了检测能力的增强。
• 采用jICA与异步CCA融合EEG与fNIRS信号的表现优于单一模态，证明了多模态整合的价值。
• 本研究提供了证据，表明当与先进人工智能技术结合时，EEG与fNIRS可作为互补的生物标志物，用于心理压力的早期检测。