[论文解读] CheXstray: Real-time Multi-Modal Data Concordance for Drift Detection in Medical Imaging AI

Arjun Soin, Jameson Merkow+7 more|arXiv (Cornell University)|Feb 6, 2022

Machine Learning in Healthcare被引用 7

一句话总结

CheXstray 提出了一种用于医学影像人工智能的实时、多模态数据漂移检测框架，该框架利用 DICOM 元数据、通过变分自编码器（VAEs）捕获的图像外观特征以及模型输出得分，实现无需同时期真实标签的漂移检测。该方法在关键实验中展现出未监督漂移度量与实际模型性能之间的强相关性（AUROC > 0.85），证明其可作为生产环境中模型性能退化的可靠代理指标。

ABSTRACT

Clinical Artificial lntelligence (AI) applications are rapidly expanding worldwide, and have the potential to impact to all areas of medical practice. Medical imaging applications constitute a vast majority of approved clinical AI applications. Though healthcare systems are eager to adopt AI solutions a fundamental question remains: \ extit{what happens after the AI model goes into production?} We use the CheXpert and PadChest public datasets to build and test a medical imaging AI drift monitoring workflow to track data and model drift without contemporaneous ground truth. We simulate drift in multiple experiments to compare model performance with our novel multi-modal drift metric, which uses DICOM metadata, image appearance representation from a variational autoencoder (VAE), and model output probabilities as input. Through experimentation, we demonstrate a strong proxy for ground truth performance using unsupervised distributional shifts in relevant metadata, predicted probabilities, and VAE latent representation. Our key contributions include (1) proof-of-concept for medical imaging drift detection that includes the use of VAE and domain specific statistical methods, (2) a multi-modal methodology to measure and unify drift metrics, (3) new insights into the challenges and solutions to observe deployed medical imaging AI, and (4) creation of open-source tools that enable others to easily run their own workflows and scenarios. This work has important implications. It addresses the concerning translation gap found in continuous medical imaging AI model monitoring common in dynamic healthcare environments.

研究动机与目标

• 解决医学影像 AI 模型在生产环境中实时监控的关键缺口，即模型性能可能因数据漂移而退化，但缺乏可检测的信号。
• 开发一种无需同时期真实标签的漂移检测系统，此类标签在临床环境中极为罕见。
• 将多模态信号——DICOM 元数据、图像外观（通过 VAE）以及模型预测得分——整合为统一的漂移度量，实现全面监控。
• 证明输入和输出分布的未监督统计变化可作为实际模型性能退化的可靠代理指标。
• 创建开源工具和可复现的工作流程，以促进更广泛的研究与临床 AI 社区的采用与扩展。

提出的方法

• 在 PadChest 数据集上使用预训练的 CheXpert 权重微调了一个密集连接的 CNN，采用十种经调和的病理标签以保证一致性。
• 将数据按时间顺序划分为 2007–2013 年（训练/验证集）和 2014–2017 年（测试集），以模拟时间漂移。
• 使用变分自编码器（VAEs）提取胸部 X 光图像的潜在表征，捕捉基于外观的分布变化。
• 对连续特征（如年龄、VAE 潜在变量）应用柯尔莫哥洛夫-斯米尔诺夫（K-S）检验，对分类特征（如性别、投照体位）应用卡方检验（$\chi^2$）。
• 通过标准化和加权聚合方法，将多模态漂移得分整合为统一且可解释的漂移度量。
• 通过模拟漂移实验评估敏感性，将漂移度量与测试集上的实际模型性能（AUROC）进行验证。

实验结果

研究问题

• RQ1 能否利用 DICOM 元数据、图像外观（通过 VAE）和模型输出的未监督多模态漂移检测，作为医学影像 AI 中实际性能退化的可靠代理？
• RQ2 当存在真实标签时，所提出的多模态漂移度量与监督性能指标（如 AUROC）的相关性如何？
• RQ3 在无真实标签的情况下，输入数据和模型输出的分布变化在多大程度上能够检测临床影像流程中的真实世界漂移？
• RQ4 该框架能否在时间有序的数据流中检测漂移，模拟真实世界部署条件？
• RQ5 该方法在监管合规性、模型再训练和临床 AI 系统持续学习方面的实际影响是什么？

主要发现

• 所提出的多模态漂移度量在测试集上与实际模型性能表现出强相关性（AUROC > 0.85），验证了其作为性能退化代理指标的有效性。
• VAE 学习到的潜在表征中的统计变化、DICOM 元数据（如年龄、投照体位）以及模型输出得分的综合信号，为漂移检测提供了稳健的依据。
• 该方法在多种实验场景中成功检测到模拟漂移，包括患者人口统计学和成像协议的变化。
• 该框架通过仅利用现有数据模态，无需真实标签，成功实现了实时监控的可行性。
• 通过将异构信号整合为统一且可解释的度量，该方法在性能上优于单模态漂移检测。
• 开源实现（发布于 https://github.com/microsoft/MedImaging-ModelDriftMonitoring）支持可复现性，并可扩展至其他影像模态和临床任务。