[论文解读] Reliable and Trustworthy Machine Learning for Health Using Dataset Shift Detection

Chunjong Park, Anas Awadalla+2 more|arXiv (Cornell University)|Oct 26, 2021

Machine Learning in Healthcare被引用 12

一句话总结

本文提出使用分布外（OOD）检测来提升医疗相关机器学习模型的可靠性与可信度，通过识别偏离训练数据分布的数据。该研究在图像、音频和运动数据上评估了基于马氏距离和格拉姆矩阵的OOD检测方法，检测分布外输入的准确率超过95%，并通过用户研究证明，基于OOD检测的置信度评分能显著提升用户在医疗AI应用中的信任感与决策能力。

ABSTRACT

Unpredictable ML model behavior on unseen data, especially in the health domain, raises serious concerns about its safety as repercussions for mistakes can be fatal. In this paper, we explore the feasibility of using state-of-the-art out-of-distribution detectors for reliable and trustworthy diagnostic predictions. We select publicly available deep learning models relating to various health conditions (e.g., skin cancer, lung sound, and Parkinson's disease) using various input data types (e.g., image, audio, and motion data). We demonstrate that these models show unreasonable predictions on out-of-distribution datasets. We show that Mahalanobis distance- and Gram matrices-based out-of-distribution detection methods are able to detect out-of-distribution data with high accuracy for the health models that operate on different modalities. We then translate the out-of-distribution score into a human interpretable CONFIDENCE SCORE to investigate its effect on the users' interaction with health ML applications. Our user study shows that the \ extsc{confidence score} helped the participants only trust the results with a high score to make a medical decision and disregard results with a low score. Through this work, we demonstrate that dataset shift is a critical piece of information for high-stake ML applications, such as medical diagnosis and healthcare, to provide reliable and trustworthy predictions to the users.

研究动机与目标

• 研究健康机器学习模型在遭遇分布外数据时对数据分布偏移的脆弱性。
• 在多种医学数据模态（图像、音频、运动）中评估最先进的分布外检测方法。
• 将OOD分数转化为人类可理解的置信度评分，以提升用户信任。
• 评估数据分布偏移信息对用户在mHealth应用中感知与决策行为的影响。

提出的方法

• 基准化公开的深度学习模型，用于皮肤癌、帕金森病和肺部声音分类。
• 应用基于马氏距离和格拉姆矩阵的OOD检测方法，识别分布外输入。
• 将OOD分数映射为人类可读的置信度评分，以供用户界面解释。
• 通过在线用户研究，结合假设性医疗场景，评估信任度与决策行为。
• 在接近分布的数据集上评估模型性能，以评估检测挑战。
• 使用与人口统计特征对齐的数据（如皮肤色调）以增强用户研究刺激材料的真实性。

实验结果

研究问题

• RQ1 当健康ML模型在不同模态下暴露于分布外数据时，其表现如何？
• RQ2 最先进的OOD检测方法能否在医疗应用中可靠地识别分布外输入？
• RQ3 将OOD分数转化为置信度评分，如何影响用户对模型预测的信任？
• RQ4 数据分布偏移信息在多大程度上影响用户基于模型输出做出医疗决策的意愿？
• RQ5 OOD检测对识别健康AI中的数据偏差与模型局限性有何影响？

主要发现

• 基于马氏距离和格拉姆矩阵的OOD检测器在图像、音频和运动模态中对分布外数据的检测准确率超过95%。
• 参与者更信任高置信度预测，并更愿意基于此类结果做出医疗决策，而对低置信度结果则选择忽略。
• 基于OOD检测的置信度评分显著提升了用户对健康AI预测可信度的感知。
• 模型开发者可利用OOD检测识别训练数据中的数据分布缺口与潜在偏差，例如某些皮肤色调或传感器类型的代表性不足。
• 接近分布的样本仍难以检测，表明在此类情形下仍需改进检测方法。
• 用户研究表明，OOD信息有助于用户识别数据质量问题，并在假设性情境下做出更明智的决策。