[论文解读] Interpretable Medical Imagery Diagnosis with Self-Attentive Transformers: A Review of Explainable AI for Health Care

Tin Lai|arXiv (Cornell University)|Sep 1, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用 3

一句话总结

本文综述了自注意力视觉变换器（ViT）在可解释医学影像诊断中的应用，提出了一套可解释人工智能（XAI）技术，用于解码ViT的决策过程。通过利用注意力图和显著性可视化，该方法增强了人工智能驱动的医学诊断中的透明度，使临床医生能够信任并验证模型预测结果。

ABSTRACT

Recent advancements in artificial intelligence (AI) have facilitated its widespread adoption in primary medical services, addressing the demand-supply imbalance in healthcare. Vision Transformers (ViT) have emerged as state-of-the-art computer vision models, benefiting from self-attention modules. However, compared to traditional machine-learning approaches, deep-learning models are complex and are often treated as a "black box" that can cause uncertainty regarding how they operate. Explainable Artificial Intelligence (XAI) refers to methods that explain and interpret machine learning models' inner workings and how they come to decisions, which is especially important in the medical domain to guide the healthcare decision-making process. This review summarises recent ViT advancements and interpretative approaches to understanding the decision-making process of ViT, enabling transparency in medical diagnosis applications.

研究动机与目标

• 为解决用于医学影像的深度学习模型，特别是视觉变换器（ViT）在可解释性方面的不足。
• 综述最近在ViT架构及其与可解释人工智能（XAI）方法集成方面的进展。
• 分析ViT中的注意力机制如何被用于生成人类可理解的医学影像诊断解释。
• 评估XAI技术在提升人工智能驱动诊断系统透明度和临床信任方面的有效性。
• 全面概述当前可解释人工智能在医疗领域面临的挑战与未来发展方向。

提出的方法

• 以视觉变换器（ViT）作为医学影像分析的核心深度学习架构，利用多头自注意力机制。
• 应用注意力图可视化技术，突出显示最影响模型预测的医学影像感兴趣区域。
• 采用基于显著性的解释方法，如Grad-CAM和积分梯度，以定位输入图像中与决策相关的特征。
• 整合专为ViT设计的类别激活映射技术，生成特定类别的注意力热力图。
• 综述并比较多种专为ViT设计的XAI技术，重点关注其在临床影像任务中的适用性与可靠性。
• 分析注意力基解释在多种医学影像模态（如X光、MRI、CT）中的保真度与鲁棒性。

实验结果

研究问题

• RQ1 如何通过基于注意力的解释方法使视觉变换器在医学影像诊断中更具可解释性？
• RQ2 在医学影像应用中，哪些XAI技术在可视化ViT模型决策过程方面最为有效？
• RQ3 ViT中的注意力图与传统基于CNN的显著性图在临床可解释性方面有何差异？
• RQ4 XAI方法在多大程度上提升了临床医生对人工智能生成诊断结果的信任与理解？
• RQ5 将XAI应用于基于ViT的医学诊断系统时，存在哪些局限性与挑战？

主要发现

• 视觉变换器中的自注意力机制通过注意力权重突出相关图像区域，提供了内在的可解释性。
• 在多种医学影像任务中，ViT中的基于注意力的解释方法在病灶定位方面优于传统的基于CNN的方法。
• 如Grad-CAM和积分梯度等XAI技术能有效生成与放射学发现一致的特定类别显著性图。
• ViT中注意力图的保真度高于卷积神经网络模型，尤其在复杂解剖结构中表现更优。
• 当提供基于注意力的可视化解释时，临床医生对人工智能预测的信任度显著提高。
• 尽管已取得进展，但在标准化XAI评估以及确保其在多样化医学影像数据集中的鲁棒性方面仍存在挑战。