[论文解读] eXplainable Artificial Intelligence on Medical Images: A Survey

Matteus Vargas Simão da Silva, Rodrigo Reis Arrais+16 more|arXiv (Cornell University)|May 12, 2023

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本综述对应用于医学影像的可解释人工智能（XAI）技术进行了全面分析，评估了32项近期研究，这些研究采用LIME和SHAP等方法来解释深度学习模型。研究指出卷积神经网络（CNN）占据主导地位，同时强调亟需建立标准化的评估指标和共享的医学影像数据集，以提升模型的透明度和临床可信度。

ABSTRACT

Over the last few years, the number of works about deep learning applied to the medical field has increased enormously. The necessity of a rigorous assessment of these models is required to explain these results to all people involved in medical exams. A recent field in the machine learning area is explainable artificial intelligence, also known as XAI, which targets to explain the results of such black box models to permit the desired assessment. This survey analyses several recent studies in the XAI field applied to medical diagnosis research, allowing some explainability of the machine learning results in several different diseases, such as cancers and COVID-19.

研究动机与目标

• 分析可解释人工智能（XAI）在医学影像诊断中的最新进展，重点关注深度学习模型的可解释性与可信度。
• 识别医学影像应用中常见的XAI技术、模型架构及评估实践。
• 突出关键挑战，如XAI评估缺乏标准化、数据稀缺，以及对私有或不可复现数据集的依赖。
• 评估XAI在通过提供可解释、可信且可操作的模型解释来改善临床决策中的作用。
• 倡导建立统一、大规模且多样化的医学影像数据库，以支持预训练和模型泛化。

提出的方法

• 对2020至2023年间在医学影像中应用XAI的32项近期研究进行系统性回顾，所选研究具有新颖性、临床相关性，并采用可解释深度学习技术。
• 按模型架构（如ResNet、DenseNet、Vision Transformers、U-Net）、疾病靶点及XAI框架（LIME、SHAP、显著性图）对模型进行分类。
• 对XAI评估实践进行定性与定量分析，包括专家人工验证，以及模型无关与模型特定的解释方法。
• 评估数据集特征，包括数据可及性（公开 vs. 私有）、数据规模及模态（如X光、MRI、眼底照相、CT）。
• 识别XAI采用趋势，如LIME和SHAP在图像分类中用于局部特征归因的广泛应用。
• 分析模型性能与可解释性之间的权衡，特别是在肺炎和COVID-19检测等高风险场景中。

实验结果

研究问题

• RQ1 在医学图像深度学习中，哪些XAI技术被最广泛使用，它们如何支持临床可解释性？
• RQ2 在医学图像XAI中，哪些主流深度学习架构被广泛采用，它们在性能与可解释性方面如何比较？
• RQ3 当前医学影像中的XAI方法在多大程度上支持在多样化临床场景中实现可靠、可复现且可信的模型解释？
• RQ4 评估医学影像中XAI方法的主要挑战是什么，为何缺乏统一的可解释性评估指标？
• RQ5 数据可及性、数据集隐私性以及缺乏大规模共享数据库，如何影响临床环境中XAI的开发与部署？

主要发现

• LIME和SHAP是使用最广泛的XAI框架，在所审查的研究中分别占约40%（LIME：7项，SHAP：6项），主要用于解释图像区域对预测结果的贡献。
• 卷积神经网络（CNN）是最常见的模型架构，在所审查模型中占比约56%，因其在医学图像特征提取方面的有效性而被广泛采用。
• COVID-19和肺炎是被最多关注的病灶，占研究病种的25%，反映出疫情期间对可解释AI的迫切需求。
• 尽管准确率较高，许多模型仍因‘黑箱’特性而缺乏临床可信度，凸显了可解释性对支持临床决策的必要性。
• 大量研究使用的是私有数据集，限制了结果的可复现性，也阻碍了大规模验证与基准测试。
• 缺乏统一的XAI有效性评估指标是反复出现的问题，各研究根据具体情境和用户需求对可解释性进行不同定义。