[论文解读] Achievements and Challenges in Explaining Deep Learning based Computer-Aided Diagnosis Systems

Adriano Lucieri, Muhammad Naseer Bajwa+2 more|arXiv (Cornell University)|Nov 26, 2020

Explainable Artificial Intelligence (XAI)参考文献 108被引用 7

一句话总结

本文综述了基于深度学习的医学影像计算机辅助诊断（CAD）系统中前沿可解释人工智能（xAI）方法的最新进展，重点聚焦于视觉、文本及混合解释方式，以提升透明度与临床信任。文章总结了在生物标志物发现与模型修正方面的关键成就，同时指出了在标准化、评估与数据偏差方面面临的挑战，倡导临床医生与AI开发者紧密协作，以推动xAI在真实世界中的部署。

ABSTRACT

Remarkable success of modern image-based AI methods and the resulting interest in their applications in critical decision-making processes has led to a surge in efforts to make such intelligent systems transparent and explainable. The need for explainable AI does not stem only from ethical and moral grounds but also from stricter legislation around the world mandating clear and justifiable explanations of any decision taken or assisted by AI. Especially in the medical context where Computer-Aided Diagnosis can have a direct influence on the treatment and well-being of patients, transparency is of utmost importance for safe transition from lab research to real world clinical practice. This paper provides a comprehensive overview of current state-of-the-art in explaining and interpreting Deep Learning based algorithms in applications of medical research and diagnosis of diseases. We discuss early achievements in development of explainable AI for validation of known disease criteria, exploration of new potential biomarkers, as well as methods for the subsequent correction of AI models. Various explanation methods like visual, textual, post-hoc, ante-hoc, local and global have been thoroughly and critically analyzed. Subsequently, we also highlight some of the remaining challenges that stand in the way of practical applications of AI as a clinical decision support tool and provide recommendations for the direction of future research.

研究动机与目标

• 分析基于深度学习的计算机辅助诊断（CAD）系统在医疗领域中解释方法的当前成就与剩余挑战。
• 评估可解释人工智能（xAI）在提升人工智能在医疗决策中透明度、可信度及临床采纳率方面的作用。
• 识别评估标准、数据质量及人机协作方面的缺口，这些因素阻碍了xAI在医学领域的真实世界部署。
• 倡导整合性、以人类为中心的xAI框架，结合数据驱动的准确性与知识驱动的可解释性。
• 推动标准化、客观的xAI方法评估程序，以确保其保真度、完整性与监管合规性。

提出的方法

• 对医学图像分析中事后（post-hoc）、事前（ante-hoc）、局部与全局解释方法进行系统性综述与批判性分析。
• 评估视觉（如显著性图）、文本及多模态解释在可解释性与临床相关性方面的表现。
• 评估xAI技术在验证已知疾病标准、发现新生物标志物及纠正模型行为方面的应用。
• 强调人机协同（HITL）设计，即临床医生保有最终决策权，而AI提供可解释的支持。
• 提出将知识驱动模型与数据驱动深度学习相结合的混合方法，以提升可解释性。
• 呼吁建立标准化、客观的xAI方法评估协议，包含定性与定量指标。

实验结果

研究问题

• RQ1 当前基于深度学习的CAD系统中的解释方法在多大程度上支持临床决策与信任建立？
• RQ2 哪些关键技术与组织性挑战阻碍了可解释人工智能在真实临床环境中的部署？
• RQ3 xAI方法在多大程度上可协助验证已知疾病标准或在医学影像中发现新生物标志物？
• RQ4 标准化的xAI解释评估框架在提升可靠性与监管接受度方面发挥何种作用？
• RQ5 医学专家与AI开发者之间的协作在构建高效、可信CAD系统中扮演何种角色？

主要发现

• 当前的xAI方法，包括显著性图与注意力可视化，显示出在提升医学影像中深度学习决策的可解释性与临床相关性方面具有潜力。
• 越来越多的证据表明，可解释人工智能可通过特征归因与注意力分析，支持发现新的潜在诊断生物标志物。
• 尽管技术取得进展，但目前尚无标准化的xAI方法评估程序，导致质量评估主观且不一致。
• 训练数据中的数据偏差与缺乏因果背景，限制了解释的可靠性，尤其是在将相关性误认为因果性时。
• 临床医生与AI开发者之间的紧密协作对于确保解释具有意义、完整性，并满足不同用户需求（如医生、患者、监管机构）至关重要。
• 将知识驱动模型与数据驱动深度学习相结合，被识别为实现临床AI系统高准确率与可解释性并重的关键路径。