[論文レビュー] Bridging the Reproducibility Divide: Open Source Software's Role in Standardizing Healthcare AI

John Wu, Zhenbang Wu+1 more|arXiv (Cornell University)|Mar 2, 2026

Artificial Intelligence in Healthcare and Education被引用数 0

ひとこと要約

本論文は医療分野のAIにおける再現性を分析し、民間データの過度な利用とコード共有の制限を明らかにし、オープンソースの実践とベンチマークの導入を提案して信頼性・安全性・影響力の向上を訴える。

ABSTRACT

Our analysis of recent AI4H publications reveals that, despite a trend toward utilizing open datasets and sharing modeling code, 74% of AI4H papers still rely on private datasets or do not share their code. This is especially concerning in healthcare applications, where trust is essential. Furthermore, inconsistent and poorly documented data preprocessing pipelines result in variable model performance reports, even for identical tasks and datasets, making it challenging to evaluate the true effectiveness of AI models. Despite the challenges posed by the reproducibility crisis, addressing these issues through open practices offers substantial benefits. For instance, while the reproducibility mandate adds extra effort to research and publication, it significantly enhances the impact of the work. Our analysis shows that papers that used both public datasets and shared code received, on average, 110% more citations than those that do neither--more than doubling the citation count. Given the clear benefits of enhancing reproducibility, it is imperative for the AI4H community to take concrete steps to overcome existing barriers. The community should promote open science practices, establish standardized guidelines for data preprocessing, and develop robust benchmarks. Tackling these challenges through open-source development can improve reproducibility, which is essential for ensuring that AI models are safe, effective, and beneficial for patient care. This approach will help build more trustworthy AI systems that can be integrated into healthcare settings, ultimately contributing to better patient outcomes and advancing the field of medicine.

研究の動機と目的

• 2024年時点の医療分野のAI（AI4H）における現状の再現性の状況を評価する。
• AI4Hの論文における民間データセット依存度とコード共有の欠如を定量化する。
• 再現性の実践と学術的影響（引用回数）との関係を評価する。
• AI4Hの再現性と透明性を改善する具体的なオープンソースおよびベンチマーク戦略を提案する。

提案手法

• CHIL、ML4H、MLHC、PubMedから2018–2024年の大型コーパスを作成する。
• 公的データセットの使用、コード共有、トピック分類を自動検出するため、キーワード、PubMedデータ、医学的に微調整した言語モデルを活用する。
• 自動検出を、ランダムサンプル（30件） の手動レビューで検証し、精度指標を報告する。
• 会場別、トピック別、所属別の傾向を分析し、再現性の信号と引用数の相関を評価する。

実験結果

リサーチクエスチョン

• RQ1 AI4H論文における技術的再現性の現状はどうか（民間データ、コード共有、データ前処理の標準化）？
• RQ2 再現性の実践（公開データの使用とコード共有）はより高い引用影響と相関するか？
• RQ3 AI4Hで再現性を妨げる障壁は何で、どのようなオープンソース実践がそれを緩和できるか？
• RQ4 標準化の取り組み（例：OMOP-CDM、MEDS）がAI4Hの再現性とどう関連するか？
• RQ5 具体的なオープンソースツール、ベンチマーク、方針はAI4Hの再現性を促進するか？

主な発見

• AI4H論文の74%が民間データセットに依存するか、コードを共有していない。
• 公開データセットと共有コードの両方を用いる論文は、どちらも用いない論文よりも平均で約110%多く引用を受ける。
• 私的データセットの使用はおおよそ65–75%のデータセット利用を占める；AI4HカンファレンスはPubMedより公開データセットを多く利用している（約60–70%対25%程度）。
• コード共有は会議系の場でPubMed論文より高い；PubMed記事ではコード共有が20%未満である。
• 公開データセットを言及しコードを共有する論文は将来の引用数が多くなる傾向がある；コード共有はトピックや所属を超えて引用に相関している。
• データ前処理の標準化は限定的であり、OMOP-CDMとMEDSの採用は不完全である。