[論文レビュー] The Scientific Method in the Science of Machine Learning

Jessica Zosa Forde, Michela Paganini|arXiv (Cornell University)|Apr 24, 2019

Machine Learning and Data Classification参考文献 56被引用数 26

ひとこと要約

この論文は、科学的根拠に基づく研究を促進するため、機械学習研究に科学的方法——特に仮説の構築、統計的検定、不確実性の推定——を統合することを提唱している。研究の厳密性、再現可能性、解釈可能性を向上させるために、物理学の手法——例えば、余分なパラメータの制御や事前登録された仮説の採用——を採用することを提案している。これにより、探索的分析に依存するのではなく、経験的に検証可能で科学的に頑健な主張が可能になる。

ABSTRACT

In the quest to align deep learning with the sciences to address calls for rigor, safety, and interpretability in machine learning systems, this contribution identifies key missing pieces: the stages of hypothesis formulation and testing, as well as statistical and systematic uncertainty estimation -- core tenets of the scientific method. This position paper discusses the ways in which contemporary science is conducted in other domains and identifies potentially useful practices. We present a case study from physics and describe how this field has promoted rigor through specific methodological practices, and provide recommendations on how machine learning researchers can adopt these practices into the research ecosystem. We argue that both domain-driven experiments and application-agnostic questions of the inner workings of fundamental building blocks of machine learning models ought to be examined with the tools of the scientific method, to ensure we not only understand effect, but also begin to understand cause, which is the raison d'être of science.

研究の動機と目的

• 機械学習研究における科学的厳密性の欠如、特に明示的な仮説の構築と統計的検定の欠如に取り組むこと。
• 機械学習における体系的で反証可能な実験の推進により、探索的「試行錯誤」に依存するのを減らすこと。
• 統計的および系統的不確実性を考慮することで、機械学習の結果の頑健性と長期的妥当性を高めること。
• 物理学を含む確立された科学分野からの方法論的基準を、機械学習コミュニティが採用するよう促すこと。
• 事前登録された研究と否定的結果のオープンな評価を通じて、より原則的で検証可能な研究文化を育成すること。

提案手法

• 実験の前段階で明示的な仮説を提示し、仮説から検証可能な予測を導出すること。
• 実験結果の不確実性を推定する統計的手法の使用を強調し、結果を確率変数として扱うこと。
• 最適化手法、初期化、ハイパーパラメータなど、性能比較に混乱をもたらす可能性のある「余分なパラメータ」の概念を導入すること。
• 系統的不確実性をモデル化・制御することで、関心の対象となるパラメータ（例：新しい活性化関数による性能向上）に感度を持つことを保証すること。
• 物理学にインspiredされた摂動的アプローチを採用し、複雑な相互作用（例：バッチ正則化の深さと幅の影響）をモデル化する前に一次効果を分析すること。
• 学会の登録報告書モデルを提唱し、データ収集の前段階で仮説がレビューされ承認されるようにすることで、結果に関係なく研究手法の整合性を保証すること。

実験結果

リサーチクエスチョン

• RQ1 仮説検定と不確実性の定量化を統合することで、機械学習研究をどの程度科学的に厳密にできるか？
• RQ2 物理学などの確立された科学分野と比較して、現在の機械学習研究における主な方法論的ギャップは何か？
• RQ3 実験設計における余分なパラメータが、報告された性能向上の統計的感度をどの程度損なうか？
• RQ4 事前登録された仮説検定は、機械学習研究の結果の信頼性と再現可能性をどの程度向上させ得るか？
• RQ5 探索的から仮説主導の実験に移行することで、モデル挙動と因果関係の理解はどの程度向上するか？

主な発見

• 多くの現在の機械学習論文には明示的な仮説や統計的検定がなく、報告された改善に統計的に感度がない可能性がある。
• ハイパーパラメータや実験設定に起因する制御不能な系統的不確実性のため、最先端の主張の多くが性能向上に対して統計的に感度がない可能性がある。
• 系統的不確実性の推定が行われていないため、観察されたデータと整合する性能向上の範囲は、ゼロを含む広い範囲にわたる可能性がある。
• 物理学や臨床試験で用いられる事前登録された仮説検定の導入により、科学的整合性が向上し、出版バイアスが軽減される可能性がある。
• 摂動的分析——高次相互作用をモデル化する前に一次効果を調べる——を適用することで、モデル構成要素のより体系的な理解が得られる。
• 科学者、科学史・科学哲学の研究者を含むワークショップや国際会議の開催により、方法論的改革を支援できる。