[论文解读] Explainable AI for clinical and remote health applications: a survey on tabular and time series data

Flavio Di Martino, Franca Delmastro|arXiv (Cornell University)|Sep 14, 2022

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

本综述对临床和远程健康应用中表格数据与时间序列数据的可解释人工智能（XAI）技术进行了全面分析，识别出临床验证、一致性以及以用户为中心的评估等关键评估标准。研究指出，与视觉和自然语言处理（NLP）相比，针对这些数据类型的XAI研究仍存在明显缺口，并呼吁在方法论上进行改进并建立标准化评估体系，以实现可信且可部署的医疗AI。

ABSTRACT

Nowadays Artificial Intelligence (AI) has become a fundamental component of healthcare applications, both clinical and remote, but the best performing AI systems are often too complex to be self-explaining. Explainable AI (XAI) techniques are defined to unveil the reasoning behind the system's predictions and decisions, and they become even more critical when dealing with sensitive and personal health data. It is worth noting that XAI has not gathered the same attention across different research areas and data types, especially in healthcare. In particular, many clinical and remote health applications are based on tabular and time series data, respectively, and XAI is not commonly analysed on these data types, while computer vision and Natural Language Processing (NLP) are the reference applications. To provide an overview of XAI methods that are most suitable for tabular and time series data in the healthcare domain, this paper provides a review of the literature in the last 5 years, illustrating the type of generated explanations and the efforts provided to evaluate their relevance and quality. Specifically, we identify clinical validation, consistency assessment, objective and standardised quality evaluation, and human-centered quality assessment as key features to ensure effective explanations for the end users. Finally, we highlight the main research challenges in the field as well as the limitations of existing XAI methods.

研究动机与目标

• 为解决尽管在真实医疗系统中广泛应用，但在临床和远程健康应用中对表格和时间序列数据的可解释人工智能（XAI）关注不足的问题。
• 识别并评估适用于表格和时间序列数据的XAI方法，这些数据在结构和复杂性上与图像和文本数据存在显著差异。
• 强调临床验证、一致性评估以及以用户为中心的评估在确保XAI解释质量与可信度方面的重要性，以满足多样化终端用户的需求。
• 指出当前XAI方法在处理特征交互、时间相关性以及健康数据中的时空模式方面存在局限。
• 呼吁建立标准化、客观且具有临床相关性的评估框架，以弥合技术XAI性能与实际临床应用之间的差距。

提出的方法

• 在过去五年内，对临床和远程健康环境中使用表格和时间序列数据的XAI应用进行了系统性文献回顾。
• 根据其在表格数据（如特征重要性、LIME、SHAP）和时间序列数据（如注意力图、源自NLP和计算机视觉的梯度方法）中的适用性，对XAI技术进行了分类。
• 通过四个关键视角评估XAI方法：临床验证、方法间的一致性、客观且标准化的质量评估，以及以用户为中心的评估。
• 分析了将视觉和NLP-based XAI方法应用于健康数据的挑战，特别是其未能充分考虑时间依赖性、多变量相关性以及混合数据类型的问题。
• 提出了一种整合领域专业知识和用户需求的XAI质量评估框架，尤其关注非专家用户（如患者和远程监测人员）的需求。
• 讨论了XAI在医疗领域中的伦理影响，包括公平性、问责制以及以患者为中心的决策，将可解释性与伦理AI原则相联系。

实验结果

研究问题

• RQ1 在临床和远程健康应用中，哪些XAI技术最适合表格和时间序列数据，它们与计算机视觉和NLP中使用的方法相比有何异同？
• RQ2 哪些关键评估标准（如临床验证、一致性以及以用户为中心的评估）能够确保医疗领域XAI解释的质量与可信度？
• RQ3 为何现有XAI方法对表格和时间序列健康数据仍显不足，这些数据类型在可解释性方面带来了哪些独特挑战？
• RQ4 XAI如何促进医疗领域中的伦理AI，包括公平性、问责制以及患者自主权，特别是在远程监测和决策支持系统中？
• RQ5 在现实临床和远程健康环境中部署XAI的主要障碍是什么，需要哪些改进才能实现可信且可扩展的AI系统？

主要发现

• 尽管在电子健康记录（EHRs）和远程监测系统中广泛应用，医疗领域中针对表格和时间序列数据的XAI方法研究仍远少于计算机视觉和NLP领域。
• 许多现有XAI技术不适用于表格数据，因为其存在复杂的特征交互和混合数据类型（连续与分类变量），而视觉和NLP方法难以有效处理此类问题。
• 时间序列数据带来了独特挑战，如重复出现的时空模式和多变量相关性，而多数从其他领域迁移的XAI方法往往忽略这些特性。
• 临床验证是XAI评估中的关键但常被忽视的组成部分，因为它可确保解释与医学知识一致，从而提升临床可信度。
• 通过多种XAI方法进行的一致性评估可为模型可靠性提供初步洞察，但还需结合敏感性分析以进一步评估鲁棒性。
• 以用户为中心的评估（包括非专家用户如患者和远程监测人员的可用性与可解释性）至关重要，但在当前医疗XAI研究中常被忽视。