[论文解读] Looking deeper into interpretable deep learning in neuroimaging: a comprehensive survey

Md Mahfuzur Rahman, Vince D. Calhoun+1 more|arXiv (Cornell University)|Jul 14, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本篇全面综述探讨了神经影像中的可解释深度学习，综合分析了当前方法、挑战与应用，揭示了与模型预测相关的脑结构与功能。该研究评估了事后解释技术，指出了可解释性验证中的局限性，并为通过更透明的深度学习模型推进脑部疾病科学理解提供了切实可行的指导建议。

ABSTRACT

Deep learning (DL) models have been popular due to their ability to learn directly from the raw data in an end-to-end paradigm, alleviating the concern of a separate error-prone feature extraction phase. Recent DL-based neuroimaging studies have also witnessed a noticeable performance advancement over traditional machine learning algorithms. But the challenges of deep learning models still exist because of the lack of transparency in these models for their successful deployment in real-world applications. In recent years, Explainable AI (XAI) has undergone a surge of developments mainly to get intuitions of how the models reached the decisions, which is essential for safety-critical domains such as healthcare, finance, and law enforcement agencies. While the interpretability domain is advancing noticeably, researchers are still unclear about what aspect of model learning a post hoc method reveals and how to validate its reliability. This paper comprehensively reviews interpretable deep learning models in the neuroimaging domain. Firstly, we summarize the current status of interpretability resources in general, focusing on the progression of methods, associated challenges, and opinions. Secondly, we discuss how multiple recent neuroimaging studies leveraged model interpretability to capture anatomical and functional brain alterations most relevant to model predictions. Finally, we discuss the limitations of the current practices and offer some valuable insights and guidance on how we can steer our future research directions to make deep learning models substantially interpretable and thus advance scientific understanding of brain disorders.

研究动机与目标

• 系统回顾神经影像中可解释深度学习方法，重点关注模型透明度与科学可解释性。
• 分析近期神经影像研究如何利用可解释性识别与预测相关的解剖与功能脑部改变。
• 识别当前可解释性实践中的关键局限性，并验证事后解释方法的可靠性。
• 提供基于证据的建议，以推动可解释深度学习的发展，从而增强对脑部疾病的理解。
• 弥合技术可解释性与医疗应用中临床与科学实用性之间的差距。

提出的方法

• 对109页关于神经影像中可解释深度学习的文献进行系统性综述，重点关注方法论进展与挑战。
• 将可解释性技术分类为事后方法、内在可解释方法与混合方法，并分析其在神经影像研究中的应用。
• 分析显著性图、注意力机制与逐层重要性传播在脑成像数据（如fMRI、MRI）中的应用。
• 评估可解释性方法的验证框架，包括人机协同评估与统计一致性检验。
• 综合近期神经影像研究的案例研究，展示可解释性如何揭示具有生物学合理性的脑部模式。
• 识别当前可解释性报告实践中在方法论上的空白与不一致性。

实验结果

研究问题

• RQ1 神经影像中不同可解释深度学习方法如何揭示与模型预测相关的脑结构与功能？
• RQ2 在神经影像中，验证事后解释技术的可靠性与一致性的关键挑战是什么？
• RQ3 当前可解释性方法在多大程度上支持脑部疾病研究中的科学发现？
• RQ4 如何改进可解释性技术以确保临床与研究环境中透明性与可重现性？
• RQ5 在神经影像应用的深度学习流程中，整合可解释性的最有效策略是什么？

主要发现

• 事后解释方法如Grad-CAM与LRP能够有效突出与模型预测相关的脑区，通常与已知神经解剖结构一致。
• 尽管广泛应用，许多可解释性方法缺乏标准化验证，导致显著性图可能被误读。
• 可解释深度学习模型已成功识别出与精神分裂症和阿尔茨海默病等疾病相关的功能与结构脑部改变。
• 神经影像研究中可解释性指标与验证程序的报告存在显著空白，降低了可重现性与可信度。
• 内在可解释模型（如基于注意力的架构）在保持性能的同时，展现出提升模型透明度的潜力。
• 本综述指出，亟需统一的基准与评估协议，以标准化并提升神经影像中可解释性的可靠性。