[论文解读] Bridging the Reproducibility Divide: Open Source Software's Role in Standardizing Healthcare AI

John Wu, Zhenbang Wu+1 more|arXiv (Cornell University)|Mar 2, 2026

Artificial Intelligence in Healthcare and Education被引用 0

一句话总结

该论文分析了 AI 在医疗保健领域的可重复性，暴露出对私有数据的大量使用和代码共享有限，并主张开放源代码实践与基准测试以提升信任度、安全性与影响力。

ABSTRACT

Our analysis of recent AI4H publications reveals that, despite a trend toward utilizing open datasets and sharing modeling code, 74% of AI4H papers still rely on private datasets or do not share their code. This is especially concerning in healthcare applications, where trust is essential. Furthermore, inconsistent and poorly documented data preprocessing pipelines result in variable model performance reports, even for identical tasks and datasets, making it challenging to evaluate the true effectiveness of AI models. Despite the challenges posed by the reproducibility crisis, addressing these issues through open practices offers substantial benefits. For instance, while the reproducibility mandate adds extra effort to research and publication, it significantly enhances the impact of the work. Our analysis shows that papers that used both public datasets and shared code received, on average, 110% more citations than those that do neither--more than doubling the citation count. Given the clear benefits of enhancing reproducibility, it is imperative for the AI4H community to take concrete steps to overcome existing barriers. The community should promote open science practices, establish standardized guidelines for data preprocessing, and develop robust benchmarks. Tackling these challenges through open-source development can improve reproducibility, which is essential for ensuring that AI models are safe, effective, and beneficial for patient care. This approach will help build more trustworthy AI systems that can be integrated into healthcare settings, ultimately contributing to better patient outcomes and advancing the field of medicine.

研究动机与目标

• 在 2024 年前的 AI4H（AI for Healthcare）领域，评估当前的可重复性现状。
• 量化 AI4H 公布论文对私有数据集的依赖以及缺乏代码共享的情况。
• 评估可重复性实践与学术影响力（引用次数）之间的关系。
• 提出具体的开源和基准测试策略，以改进 AI4H 的可重复性与透明度。

提出的方法

• 汇编来自 CHIL、ML4H、MLHC 和 PubMed 的大规模 AI4H 论文语料库（2018–2024）。
• 开发用于公开数据集使用、代码共享和主题分类的自动检测器，使用关键词、PubMed 数据以及经过医学领域微调的语言模型。
• 用随机抽样（30 篇论文）进行人工评审来验证自动检测结果，并报告准确性指标。
• 按刊物、主题和单位分析趋势；将可重复性信号与引用计数相关联。

实验结果

研究问题

• RQ1 AI4H 论文当前技术可重复性状况（私有数据、代码共享、数据预处理标准化）如何？
• RQ2 可重复性实践（公开数据使用和代码共享）是否与更高的引用影响相关？
• RQ3 哪些障碍阻碍了 AI4H 的可重复性，哪些开源实践可以缓解？
• RQ4 标准化努力（如 OMOP-CDM、MEDS）与 AI4H 的可重复性有何关系？
• RQ5 哪些具体的开源工具、基准测试和政策可以促进 AI4H 的可重复性？

主要发现

• 74% 的 AI4H 论文依赖私有数据集或不共享代码。
• 同时使用公开数据集与共享代码的论文，其引用量平均比两者都不使用的论文高出 110%。
• 在 2018–2024 年间，私有数据集的使用约占 65–75%；AI4H 会议比 PubMed 使用公开数据集的比例更高（约 60–70% 对 25%）。
• 相比 PubMed 论文，会议场域的代码共享水平更高；PubMed 文章的代码共享比例不足 20%。
• 提及公开数据集并共享代码的论文，未来引用次数往往更高；代码共享在不同主题和单位中与更高引用相关。
• 数据预处理标准化有限；对 OMOP-CDM 与 MEDS 的采用不完全。