[论文解读] Explainable Medical Imaging AI Needs Human-Centered Design: Guidelines and Evidence from a Systematic Review

Haomin Chen, Catalina Gómez+2 more|arXiv (Cornell University)|Dec 21, 2021

Artificial Intelligence in Healthcare and Education被引用 7

一句话总结

本文提出了 INTRPRT 指南，这是一种以人为本的可解释医学影像人工智能设计框架，旨在解决透明机器学习中用户参与不足的问题。通过整合形成性用户研究与迭代评估，该框架提高了人工智能系统真正实现透明性，并在临床上具有相关性与可信度的可能性，从而造福医疗专业人员。

ABSTRACT

Transparency in Machine Learning (ML), attempts to reveal the working mechanisms of complex models. Transparent ML promises to advance human factors engineering goals of human-centered AI in the target users. From a human-centered design perspective, transparency is not a property of the ML model but an affordance, i.e. a relationship between algorithm and user; as a result, iterative prototyping and evaluation with users is critical to attaining adequate solutions that afford transparency. However, following human-centered design principles in healthcare and medical image analysis is challenging due to the limited availability of and access to end users. To investigate the state of transparent ML in medical image analysis, we conducted a systematic review of the literature. Our review reveals multiple severe shortcomings in the design and validation of transparent ML for medical image analysis applications. We find that most studies to date approach transparency as a property of the model itself, similar to task performance, without considering end users during neither development nor evaluation. Additionally, the lack of user research, and the sporadic validation of transparency claims put contemporary research on transparent ML for medical image analysis at risk of being incomprehensible to users, and thus, clinically irrelevant. To alleviate these shortcomings in forthcoming research while acknowledging the challenges of human-centered design in healthcare, we introduce the INTRPRT guideline, a systematic design directive for transparent ML systems in medical image analysis. The INTRPRT guideline suggests formative user research as the first step of transparent model design to understand user needs and domain requirements. Following this process produces evidence to support design choices, and ultimately, increases the likelihood that the algorithms afford transparency.

研究动机与目标

• 解决可解释医学影像人工智能中用户中心设计的关键缺口，当前研究更注重计算可行性而非临床可用性。
• 识别在医学影像透明机器学习模型开发中，缺乏形成性用户研究与实证验证的问题。
• 提出一个系统化的设计框架——INTRPRT，从人工智能系统开发初期即嵌入以人为本的设计原则。
• 通过提供可操作的指导方针与全量实证评估的替代方案，支持在高风险医学人工智能中采纳以人为本的设计。
• 通过确保透明性对临床利益相关者具有意义且可理解，提升人机协作性能。

提出的方法

• 对 2012 年 1 月至 2021 年 7 月期间在 PubMed、EMBASE 和 Compendex 中检索的 68项研究进行了系统性回顾，以评估当前透明医学影像人工智能的实践状况。
• 识别出主流技术，如类别激活图（CAM）、Grad-CAM 及其他基于显著性图的方法，用于模型可解释性。
• 提出 INTRPRT 指南——一种结构化、迭代的设计流程，整合了形成性用户研究、情境理解与利益相关者参与。
• 强调原型设计与迭代开发的必要性，以确保人工智能解释与临床工作流程及用户心智模型相契合。
• 提供全量实证用户评估的替代方案，如专家访谈与启发式评估，以支持临床环境中的可行性。
• 将 INTRPRT 框架映射至关键人本设计阶段：理解用户、设计解决方案、原型开发以及与利益相关者共同验证。

实验结果

研究问题

• RQ1 当前可解释医学影像人工智能研究在模型开发过程中在多大程度上融入了形成性用户研究？
• RQ2 医学影像中透明机器学习模型的设计与评估实践在多大程度上符合以人为本设计原则？
• RQ3 在放射科与病理科可解释人工智能系统开发中，临床利益相关者参与的主要障碍是什么？
• RQ4 如何通过用户参与式设计，超越算法可解释性，真正实现医学人工智能的透明性？
• RQ5 何种设计框架可支持在高风险医学影像中开发出临床相关且可信的可解释人工智能系统？

主要发现

• 仅有极少数研究通过实证用户评估验证了透明性声明，表明可用性测试存在重大缺口。
• 尽管医学决策具有高风险，但 68项被审查的研究在开发与评估阶段均极少考虑终端用户需求。
• 绝大多数透明机器学习模型以计算可行性为主要驱动力，而非临床相关性或用户理解能力。
• 形成性用户研究——对于理解临床工作流程与用户期望至关重要——在全部 68项被审查的研究中均缺失。
• 透明人工智能最常见的模态为 3D 放射影像（CT、MRI）与全玻片图像（WSI），反映出复杂且耗时的临床任务。
• 例如，从 WSI 进行五分类分子表型分类或超分辨率 MRI 的应用，均未建立人类基线，凸显了早期用户参与以验证设计假设的迫切需求。