[論文レビュー] Perspectives on Machine Learning from Psychology's Reproducibility Crisis

Samuel J. Bell, Onno P. Kampman|arXiv (Cornell University)|Apr 18, 2021

Mental Health Research Topics被引用数 5

ひとこと要約

この論文は、心理学における再現可能性危機と機械学習分野の現在の課題との類似性を指摘し、事前登録、透明な仮説検定、推論的再現性といった手法の見直しを提唱することで、研究の厳密性を高めることを目的としている。心理学の実践——再現性研究のバッジや再現性トラック——を採用することで、機械学習分野における信頼性と理論的発展を強化する。

ABSTRACT

In the early 2010s, a crisis of reproducibility rocked the field of psychology. Following a period of reflection, the field has responded with radical reform of its scientific practices. More recently, similar questions about the reproducibility of machine learning research have also come to the fore. In this short paper, we present select ideas from psychology's reformation, translating them into relevance for a machine learning audience.

研究の動機と目的

• 機械学習における再現可能性に関する懸念が高まっているのを受けて、心理学の再現可能性危機から得られる教訓を検討すること。
• pハッキングやHARKingといった不適切な研究手法が、心理学と機械学習の両分野で科学的妥当性を損なう仕組みを強調すること。
• 事前登録、公開されたコード・データ、再現性バッジといった具体的な改革策を提案し、手法的再現性と推論的再現性を向上させること。
• 認知やメカニズムに関する心理学的理論を活用することで、機械学習におけるより強固な理論的枠組みの構築を促すこと。
• 再現性トラックや透明性へのインcentiveを含む文化の変化を促し、機械学習分野における累積的科学的進歩を支援すること。

提案手法

• 実験を実施する前に対象の仮説、実験設計、分析計画を公式に宣言するための事前登録を採用し、HARKing や p ハッキングを低減する。
• 手法的再現性（コードの再実行）と推論的再現性（独立した手法による結論の検証）を区別する。
• 学会や学術誌において再現性バッジを導入し、コード、データ、分析パイプラインの公開を奨励する。
• 機械学習学会で専用の再現性トラックを設け、元のコードにアクセスできない状態でも、主要な発見の妥当性を検証できるようにする。
• 検証可能な予測と事前に定義されたハイパーパramータ探索空間を備えた構造化された仮説検定を導入し、研究者の自由度を低減する。
• 第一原理的理解がなくても、認知心理学の上位互換理論的枠組みを参考にし、機械学習における理論的発展を支援する。

実験結果

リサーチクエスチョン

• RQ1 機械学習分野は、心理学の改革策をどのように取り入れることで、研究の再現性と信頼性を高められるか？
• RQ2 事前登録は、機械学習実験におけるpハッキングやHARKingをどのように低減するか？
• RQ3 元のコードやデータにアクセスできない状況でも、機械学習における推論的再現性はどのように達成できるか？
• RQ4 再現性バッジのようなインcentiveは、機械学習における透明性とデータ共有をどのように促進できるか？
• RQ5 認知に関する心理学的理論は、機械学習における強固で一般化可能な理論の構築にどのように寄与できるか？

主な発見

• 事前登録は、データ収集の前に対象の仮説と分析計画を確定させるため、HARKing や p ハッキングのリスクを顕著に低減する。
• 心理学分野における再現性バッジの導入により、データの可用性が3％から39％に上昇したという報告がある。このインcentiveは、機械学習分野でも同様に透明性を高める可能性を示唆している。
• コードレベルの再現性を超えて、独立した手法による結論の検証が可能な推論的再現性は、一般化可能な発見を確立するために不可欠である。
• 元の資料にアクセスできない状態で実施される再現研究——心理学のMany Labsプロジェクトがその例である——は、機械学習分野における主張の妥当性を効果的に検証できる。
• 機械学習における理論的枠組みは、心理学と同様に検証可能な予測をあまり行わず、実証的発見とより強く統合する必要がある。
• 再現性トラックや透明性へのインcentiveを含む文化の変化は、機械学習分野における累積的科学的進歩を促進する上で極めて重要である。