[论文解读] Evaluation of Interpretability for Deep Learning algorithms in EEG Emotion Recognition: A case study in Autism

Juan Manuel Mayor Torres, Sara Medina-DeVilliers+3 more|arXiv (Cornell University)|Nov 25, 2021

EEG and Brain-Computer Interfaces被引用 10

一句话总结

本研究评估了用于解释自闭症谱系障碍（ASD）个体与非ASD个体基于脑电图（EEG）的面部情绪识别中卷积神经网络（CNN）的可解释人工智能（XAI）方法。通过一种新颖的RemOve-And-Retrain（ROAR）方法，识别出LRP-B、PatternNet和Pattern-Attribution为最可靠的XAI方法，揭示了ASD个体在晚期时间（500–1500ms）的神经相关性模式，其与神经连接改变一致，证实尽管存在行为缺陷，情绪编码功能仍保持完整。

ABSTRACT

Current models on Explainable Artificial Intelligence (XAI) have shown an evident and quantified lack of reliability for measuring feature-relevance when statistically entangled features are proposed for training deep classifiers. There has been an increase in the application of Deep Learning in clinical trials to predict early diagnosis of neuro-developmental disorders, such as Autism Spectrum Disorder (ASD). However, the inclusion of more reliable saliency-maps to obtain more trustworthy and interpretable metrics using neural activity features is still insufficiently mature for practical applications in diagnostics or clinical trials. Moreover, in ASD research the inclusion of deep classifiers that use neural measures to predict viewed facial emotions is relatively unexplored. Therefore, in this study we propose the evaluation of a Convolutional Neural Network (CNN) for electroencephalography (EEG)-based facial emotion recognition decoding complemented with a novel RemOve-And-Retrain (ROAR) methodology to recover highly relevant features used in the classifier. Specifically, we compare well-known relevance maps such as Layer-Wise Relevance Propagation (LRP), PatternNet, Pattern-Attribution, and Smooth-Grad Squared. This study is the first to consolidate a more transparent feature-relevance calculation for a successful EEG-based facial emotion recognition using a within-subject-trained CNN in typically-developed and ASD individuals.

研究动机与目标

• 评估最先进的XAI方法在解释ASD和典型发育（TD）个体基于EEG的面部情绪识别深度学习模型中的可靠性。
• 解决在应用于噪声大、统计上纠缠的EEG数据时，深度学习模型中特征重要性估计不可靠的问题。
• 开发并验证一种新颖的RemOve-And-Retrain（ROAR）框架，以识别基于EEG的情绪解码中稳健且可解释的特征。
• 研究尽管存在行为识别缺陷，ASD个体在单次试验EEG水平上面部情绪的神经表征是否保持完整。
• 建立一个透明、可复现的流程，用于在EEG临床神经影像应用中评估XAI方法。

提出的方法

• 通过将通道垂直堆叠，时间作为列，通道作为行，构建EEG数据的2D图像表示，使数据可直接输入2D CNN进行情绪分类。
• 应用四种XAI方法——逐层显著性传播（LRP）、PatternNet、Pattern-Attribution和Smooth-Grad Squared，生成显著性图以解释特征重要性。
• 采用RemOve-And-Retrain（ROAR）方法，迭代移除按重要性排序的特征并重新训练模型，以评估对分类准确率的影响，从而识别最可靠的XAI方法。
• 将ROAR应用于典型发育（TD）和ASD参与者，比较两组在特征重要性和模型鲁棒性方面的差异。
• 进行置信度分析，评估在不同试验和时间窗中相关性模式的一致性，特别关注晚期时间范围（500–1500ms）。
• 使用iNNvestigate包实现XAI，与Google Brain团队密切合作，确保方法严谨性和可复现性。

实验结果

研究问题

• RQ1 在TD和ASD人群中，哪些XAI方法能产生最可靠且一致的EEG面部情绪识别特征重要性图？
• RQ2 在面部情绪解码过程中，TD与ASD个体的EEG特征重要性模式有何差异，特别是在晚期时间窗？
• RQ3 ROAR方法在提升基于噪声EEG数据训练的深度学习模型中真正相关特征的识别方面，改善程度如何？
• RQ4 ASD个体是否存在在单次试验EEG水平上仍保持完整的面部情绪神经表征，即使行为表现受损？
• RQ5 将ROAR与XAI方法结合，能否实现临床EEG应用中深度学习模型更透明、更可信的解释？

主要发现

• ROAR评估识别出LRP-B、PatternNet和Pattern-Attribution为最可靠的XAI方法，因为当超过50%的最相关特征被移除时，其分类准确率出现显著下降。
• 在刺激后500–1500ms的时间窗内，TD与ASD个体的特征重要性模式存在显著差异，尤其在最可靠的XAI方法中表现明显。
• ASD个体的晚期时间特征重要性模式与情绪处理过程中已知的神经连接改变一致，表明情绪编码功能完整但组织方式不同。
• CNN流程在TD和ASD参与者中均成功从EEG数据解码出面部情绪，证实ASD个体在单次试验水平上情绪的神经表征保持完整。
• ROAR的使用识别出一组一致且独特的EEG特征，这些特征对准确的情绪分类至关重要，从而增强了模型的透明度。
• 本研究为基于EEG的深度学习中XAI方法的评估设立了新基准，表明ROAR能够有效区分临床神经影像中可靠与虚假的相关性图。