[論文レビュー] Reproducibility in Machine Learning-Driven Research

Harald Semmelrock, Simone Kopeinik+3 more|arXiv (Cornell University)|Jul 19, 2023

Scientific Computing and Data Management被引用数 7

ひとこと要約

このミニサーベイは、機械学習（ML）に基づく研究における再現可能性の課題を調査し、非公開のコード、データ漏洩、訓練条件への感受性といった主要な障壁を特定している。コード共有、モデル情報シート、チェックリスト、啓発キャンペーン、ジャーナル政策といった駆動要因を評価した結果、大規模言語モデル（LLM）（例：GPT-4）はチェックリストの適合性を86.6％の正確さで検証でき、構造的な実践が再現可能性の実現可能性を顕著に向上させることを示している。

ABSTRACT

Research is facing a reproducibility crisis, in which the results and findings of many studies are difficult or even impossible to reproduce. This is also the case in machine learning (ML) and artificial intelligence (AI) research. Often, this is the case due to unpublished data and/or source-code, and due to sensitivity to ML training conditions. Although different solutions to address this issue are discussed in the research community such as using ML platforms, the level of reproducibility in ML-driven research is not increasing substantially. Therefore, in this mini survey, we review the literature on reproducibility in ML-driven research with three main aims: (i) reflect on the current situation of ML reproducibility in various research fields, (ii) identify reproducibility issues and barriers that exist in these research fields applying ML, and (iii) identify potential drivers such as tools, practices, and interventions that support ML reproducibility. With this, we hope to contribute to decisions on the viability of different solutions for supporting ML reproducibility.

研究の動機と目的

• 多様な研究分野における機械学習の再現可能性の現状を評価すること。
• 非公開のコード、データ漏洩、ハイパーパramータの感受性といった、再現可能性を阻害するシステム的障壁を特定すること。
• チェックリスト、モデル情報シート、啓発活動、ジャーナル政策といった、再現可能性を支援する既存の駆動要因を評価すること。
• GPT-4などの大規模言語モデル（LLM）が、チェックリスト適合性の検証において高い正確さで支援できる役割を調査すること。
• 機械学習研究におけるさまざまな再現可能性ソリューションの実現可能性を評価する基盤を提供すること。

提案手法

• 再現可能性に焦点を当てた機械学習研究に関する体系的文献レビューを実施し、障壁と駆動要因を分析した。
• 再現可能性を3段階に分類した：R1（同一実験の再現可能性）、R2（データの再現可能性）、R3（手法の再現可能性）。
• チェックリスト、モデル情報シート、啓発活動（例：ReproducedPapers.org、再現可能性チャレンジ）などのツールを評価した。
• GPT-4を含む大規模言語モデル（LLM）が、チェックリスト適合性の検証を高い正確さ（86.6％）で実施できることを評価した。
• 研究の信頼性を向上させるために、コード／データの公開義務化や事前登録を含むジャーナルレベルの介入を分析した。
• ACM TORSジャーナルのような事例研究を検討し、事前登録と再現可能性専用論文の公開を通じて再現可能性を支援する仕組みを評価した。

Figure 1 : Degrees of reproducibility . Adapted from [ 20 ]

実験結果

リサーチクエスチョン

• RQ1 異なる科学分野における機械学習研究における再現可能性の現在の水準と段階は何か？
• RQ2 コードやデータの非公開、実装への感受性といった主な障壁は、MLにおける再現可能性をどのように阻害しているか？
• RQ3 チェックリスト、モデル情報シート、啓発キャンペーンといった提案された駆動要因は、MLの再現可能性向上にどの程度効果的か？
• RQ4 GPT-4のようなLLMは、再現可能性チェックリストの適合性検証においてどの程度支援できるか？
• RQ5 ジャーナルや会議は、事前登録や必須のコード／データ共有などのポリシーをどのように導入することで、ML研究の再現可能性を向上させられるか？

主な発見

• MLにおける再現可能性危機は広範にわたり、非公開のコードや訓練条件への感受性が、結果の再現を阻害する主要な障壁である。
• R1（実験再現可能性）は、同一条件下で出力の一貫性を保証するが、R3（手法再現可能性）は、異なる実装やデータに対して一般化を可能にする。
• モデル情報シートは、データ分割や前処理を著者が文書化するよう要請することで、データ漏洩のリスクを顕著に低減し、特に熟練度の低いML研究者にとって有益である。
• GPT-4のようなLLMは、チェックリスト適合性の検証において86.6％の正確さを示し、自動化された再現可能性検証のスケーラブルな解決策を提供している。
• ReproducedPapers.orgのようなレポジトリや再現可能性チャレンジといった啓発活動は、透明性の向上と再現可能性の教育に効果的である。
• ACM TORSのようなジャーナルは、事前登録の支援と再現可能性専用研究の公開を通じて、再現可能性を前進させ、研究の信頼性を向上させている。