[论文解读] Explainable Artificial Intelligence Methods in Combating Pandemics: A Systematic Review

Felipe Giuste, Wenqi Shi+7 more|arXiv (Cornell University)|Dec 23, 2021

Artificial Intelligence in Healthcare and Education被引用 7

一句话总结

本篇系统性综述评估了在新冠疫情期间用于提升人工智能驱动的诊断与决策支持系统透明度、信任度及临床影响力的可解释人工智能（XAI）方法。通过分析医学影像和电子健康记录中的XAI技术，研究显示可解释性提升了模型的可解释性，增强了临床医生的信任，并有助于识别虚假相关性，从而提高了人工智能在医疗领域的实际应用价值。

ABSTRACT

Despite the myriad peer-reviewed papers demonstrating novel Artificial Intelligence (AI)-based solutions to COVID-19 challenges during the pandemic, few have made significant clinical impact. The impact of artificial intelligence during the COVID-19 pandemic was greatly limited by lack of model transparency. This systematic review examines the use of Explainable Artificial Intelligence (XAI) during the pandemic and how its use could overcome barriers to real-world success. We find that successful use of XAI can improve model performance, instill trust in the end-user, and provide the value needed to affect user decision-making. We introduce the reader to common XAI techniques, their utility, and specific examples of their application. Evaluation of XAI results is also discussed as an important step to maximize the value of AI-based clinical decision support systems. We illustrate the classical, modern, and potential future trends of XAI to elucidate the evolution of novel XAI techniques. Finally, we provide a checklist of suggestions during the experimental design process supported by recent publications. Common challenges during the implementation of AI solutions are also addressed with specific examples of potential solutions. We hope this review may serve as a guide to improve the clinical impact of future AI-based solutions.

研究动机与目标

• 识别并分析可解释人工智能（XAI）方法在应对新冠疫情中的应用。
• 评估XAI如何提升临床人工智能系统中模型的透明度、临床医生的信任度及决策能力。
• 提供一份结构化检查清单，以指导在人工智能开发工作流程中集成XAI，从而提升其在临床环境中的实际应用。
• 针对临床人工智能实施中的常见挑战（如模型偏差和可解释性不足）提出实用解决方案。
• 概述XAI在生物医学应用中的未来发展方向，特别是在风险分层和疫情后护理中的应用。

提出的方法

• 采用PRISMA指南开展系统性文献综述，识别关于疫情相关人工智能应用中XAI的同行评审研究。
• 将XAI技术分类为事后解释方法（如LIME、Grad-CAM、SHAP）和内在可解释模型（如决策树、逻辑回归）。
• 将XAI应用映射至关键临床数据来源：医学影像（X光、CT）、电子健康记录（EHRs）及临床特征。
• 结合定性（如人机协同验证）与定量指标（如忠实度、稀疏性、保真度）评估XAI性能。
• 将洞察整合为早期人工智能开发阶段的设计检查清单，重点强调数据质量、特征相关性及解释评估。
• 回顾XAI的新兴趋势，包括利用深度学习潜在空间进行聚类，以及利用激活图实现图像分割解释。

实验结果

研究问题

• RQ1 在疫情期间，XAI技术如何应用于新冠检测与风险预测的人工智能模型中？
• RQ2 在临床环境中部署不可解释的人工智能模型面临哪些主要挑战？XAI如何缓解这些问题？
• RQ3 XAI方法在基于人工智能的临床决策支持系统中，对提升临床医生信任度与决策能力的改善程度如何？
• RQ4 目前有哪些评估框架可用于衡量医疗领域XAI解释的质量与可靠性？
• RQ5 哪些设计原则与检查清单可指导开发者在人工智能模型开发初期即集成XAI？

主要发现

• LIME、SHAP和Grad-CAM等XAI技术显著提升了模型透明度，并使临床医生能够基于临床知识验证模型决策。
• 具备可解释性功能的模型即使性能与黑箱模型相当，也更可能被临床工作流程信任并采纳。
• XAI有助于识别虚假相关性（如模型依赖患者年龄或扫描设备类型而非疾病病理）从而提升模型鲁棒性。
• 结合定性与定量指标（如忠实度、稀疏性）评估XAI结果，对确保解释的可靠性与临床相关性至关重要。
• 在人工智能开发初期即集成XAI，有助于更好地契合临床需求与监管要求。
• 制定了一套全面的XAI集成检查清单，涵盖数据质量、特征选择、解释评估与偏差检测，以预防常见陷阱。