[论文解读] Explainable Artificial Intelligence for Human Decision-Support System in Medical Domain

Samanta Knapic̆, Avleen Malhi+2 more|arXiv (Cornell University)|May 5, 2021

Colorectal Cancer Screening and Detection被引用 4

一句话总结

本研究基于胃部胶囊内镜视频数据，在医学影像分析中评估了三种可解释人工智能（XAI）方法——LIME、SHAP 和 CIU，以提升临床环境中的信任度与决策支持。CIU 在提升人类决策支持、透明度及解释速度方面优于 LIME 和 SHAP，展现出在人工智能辅助诊断中临床部署的潜力。

ABSTRACT

In the present paper we present the potential of Explainable Artificial Intelligence methods for decision-support in medical image analysis scenarios. With three types of explainable methods applied to the same medical image data set our aim was to improve the comprehensibility of the decisions provided by the Convolutional Neural Network (CNN). The visual explanations were provided on in-vivo gastral images obtained from a Video capsule endoscopy (VCE), with the goal of increasing the health professionals' trust in the black box predictions. We implemented two post-hoc interpretable machine learning methods LIME and SHAP and the alternative explanation approach CIU, centered on the Contextual Value and Utility (CIU). The produced explanations were evaluated using human evaluation. We conducted three user studies based on the explanations provided by LIME, SHAP and CIU. Users from different non-medical backgrounds carried out a series of tests in the web-based survey setting and stated their experience and understanding of the given explanations. Three user groups (n=20, 20, 20) with three distinct forms of explanations were quantitatively analyzed. We have found that, as hypothesized, the CIU explainable method performed better than both LIME and SHAP methods in terms of increasing support for human decision-making as well as being more transparent and thus understandable to users. Additionally, CIU outperformed LIME and SHAP by generating explanations more rapidly. Our findings suggest that there are notable differences in human decision-making between various explanation support settings. In line with that, we present three potential explainable methods that can with future improvements in implementation be generalized on different medical data sets and can provide great decision-support for medical experts.

研究动机与目标

• 提升黑箱人工智能预测在医学影像分析中的可理解性与可信度，尤其针对临床决策支持。
• 评估可解释人工智能方法是否能提升人类在解读人工智能生成诊断时的决策准确率与透明度。
• 比较三种 XAI 方法——LIME、SHAP 与一种新型 CIU 方法——在相同医学影像数据集上的有效性。
• 通过非医学背景参与者，评估不同解释类型对用户理解力与决策任务表现的影响。
• 为未来在真实临床环境中实施 XAI 提供可操作的见解，尤其针对领域专家。

提出的方法

• 对来自胃部胶囊内镜的体内胃部图像，应用事后可解释性方法 LIME 和 SHAP，生成卷积神经网络预测的局部、实例级解释。
• 实现 CIU（上下文价值与效用）方法，该方法基于博弈论原理，根据上下文效用计算特征重要性，提供比 LIME 和 SHAP 更全面的解释。
• 为每种方法生成视觉解释（如显著性图），突出显示图像中对模型预测有贡献的区域。
• 开展三项基于网络的用户研究，共招募 60 名非医学背景参与者（每种方法 20 人），以评估解释的清晰度、信任度及决策准确率。
• 使用正确决策率和解释理解得分等定量指标，比较三种 XAI 方法的表现。
• 在提供解释与不提供解释两种条件下评估解释的影响，以衡量其对人类表现的作用。

实验结果

研究问题

• RQ1 RQ1：可解释人工智能是否能提升医学领域基于人工智能的计算机视觉系统的可信度？
• RQ2 RQ2：不同 XAI 方法能否作为医学影像分析中有效的辅助人类决策系统？
• RQ3 RQ3：在可用性、透明度及对人类决策准确率的影响方面，不同解释方法（LIME、SHAP、CIU）之间有何差异？
• RQ4 RQ4：与无解释条件相比，解释支持是否能提升用户做出正确决策的数量？
• RQ5 RQ5：在 LIME、SHAP 和 CIU 之间，是否存在可测量的解释理解力与决策表现差异？

主要发现

• CIU 方法在提升人类决策准确率方面显著优于 LIME 和 SHAP，使用 CIU 解释引导的用户做出的正确决策更多。
• 与 LIME 和 SHAP 相比，用户对 CIU 解释的透明度与可理解性评价更高，表明其用户理解力更优。
• CIU 生成解释的速度快于 LIME 和 SHAP，表明其在解释生成方面具有更高的计算效率。
• 与其它方法不同，SHAP 研究中无解释条件下的正确决策数更高，表明 SHAP 解释可能对用户造成困惑或误导。
• 在三项用户研究中的两项（LIME 和 CIU）中，解释支持提升了正确决策的数量，但在 SHAP 研究中未见提升，凸显了不同方法对人类认知的特定影响。
• 研究结果表明，并非所有 XAI 方法对人类决策支持效果相同，解释方法的选择显著影响用户信任与表现。