[論文レビュー] Reproducibility in Machine Learning for Health

Matthew B. A. McDermott, Shirly Wang+4 more|arXiv (Cornell University)|Jul 2, 2019

Machine Learning in Healthcare参考文献 39被引用数 29

ひとこと要約

本稿は、機械学習 for ヘルスケア（ML4H）分野における再現可能性を評価するため、技術的再現性、統計的再現性、概念的再現性の3段階分類を導入し、100篇以上のML4H論文を分析した。他のML分野と比較して、データおよびコードのアクセス性に顕著な格差が生じていることが明らかになった。研究者、出版者、データ提供者に対して、コード・データ共有、事前登録の代替策、合成データ、標準化された報告書作成の実践的提案を提示している。

ABSTRACT

Machine learning algorithms designed to characterize, monitor, and intervene on human health (ML4H) are expected to perform safely and reliably when operating at scale, potentially outside strict human supervision. This requirement warrants a stricter attention to issues of reproducibility than other fields of machine learning. In this work, we conduct a systematic evaluation of over 100 recently published ML4H research papers along several dimensions related to reproducibility. We find that the field of ML4H compares poorly to more established machine learning fields, particularly concerning data and code accessibility. Finally, drawing from success in other fields of science, we propose recommendations to data providers, academic publishers, and the ML4H research community in order to promote reproducible research moving forward.

研究の動機と目的

• ML4H分野における再現性危機の深刻化に応じ、誤ったまたは再現不能な結果が患者の安全や規制意思決定に影響を及えるおそれがあるため、その是正を図ること。
• 特にデータおよびコードのアクセス性に注目し、より整備されたML分野と比較して、ML4H分野における主な再現性の課題を特定すること。
• ML4H応用に特化した、技術的再現性、統計的再現性、概念的再現性の3段階分類を体系的に提示すること。
• ML、NLP、CV、ML4Hの会議で発表された最近の研究論文100篇以上を手作業でレビューし、ML4H分野における再現性の現状を評価すること。
• データ基準、事前登録の代替策、合成データの活用など、ML4Hコミュニティが採用可能な、具体的かつスケーラブルな改善策を提案すること。

提案手法

• 技術的（同一条件）、統計的（再サンプリングされた条件）、概念的（同一概念的枠組みだが異なる文脈）の3段階再現性分類を考案した。
• ML4H、NLP、CV、一般ML論文を対象に、300篇以上の論文を対象に、データおよびコードの可用性など再現性の各次元を評価する手作業による体系的文献レビューを実施した。
• データセットおよびコードのリリース率、固定された訓練・テスト分割の使用、ハイパーパrameterおよび評価手順の報告状況といった再現性指標を評価した。
• プライバシーおよびアクセス障壁に対処するため、事前登録の代替策、合成データ生成、暗号化またはフェデレーテッドラーニングの提案を行った。
• 必須のデータ／コード利用に関する声明の導入と、データシートおよび仕様書の報告基準の強化を提言した。
• ML4H分野の相互運用性および概念的再現性を向上させるために、既存の臨床データ基準（例：OMOP、FHIR）の採用を推奨した。

実験結果

リサーチクエスチョン

• RQ1 ML4H分野の研究における再現性は、データおよびコードの可用性という観点から、他の機械学習分野と比較してどの程度異なるか？
• RQ2 提案された分類に基づく技術的・統計的・概念的再現性基準を、ML4H研究はどの程度満たしているか？
• RQ3 特にデータの機微性とプライバシーの懸念を踏まえた場合、ML4Hにおける再現性の主な障壁は何か？
• RQ4 生物医学分野の事前登録手法を、ML4Hモデル開発の探索的性質に適合させるにはどうすればよいか？
• RQ5 長期的な再現性を向上させるために、制度的および技術的対策として何が可能か？

主な発見

• 100篇以上の最近発表されたML4H論文において、NLPおよびCV論文と比較して、データおよびコードの可用性が著しく低いことが判明した。
• ML4H論文のうち28％しかコードをリリースしておらず、15％しかデータセットを公開していなかった。これは他のML分野と比較して低い水準であった。
• ハイパーパrameter探索手順の報告や、固定された訓練・テスト分割の使用は10％未満にとどまり、統計的再現性の根拠が弱まっている。
• ML4H研究の大多数が、バイアス、欠損データ、データの出典に関する詳細な記述を欠いていた。
• OMOP、FHIRなどのデータ基準や、データシートのような報告慣行の導入が遅れており、これらは概念的再現性に不可欠である。
• FDA承認済みツールを含むML4H応用の重要性にもかかわらず、再現性の実践は未だに不十分で一貫性に欠けている。