[論文レビュー] Pitfalls in Machine Learning Research: Reexamining the Development Cycle

Stella Biderman, Walter J. Scheirer|arXiv (Cornell University)|Nov 4, 2020

Adversarial Robustness in Machine Learning参考文献 44被引用数 12

ひとこと要約

この論文は、機械学習研究開発プロセスにおける重大な落とし穴——アルゴリズム設計、データ収集、モデル評価——を特定し、データの清浄性の欠如、誤った仮定、統計的厳密性の不足といった問題を強調している。実行可能な改善策として、第三者によるコード／データレビュー、データセット分類器の制御、統計的検証を提言し、ML研究における再現可能性と科学的整合性を高める。

ABSTRACT

Machine learning has the potential to fuel further advances in data science, but it is greatly hindered by an ad hoc design process, poor data hygiene, and a lack of statistical rigor in model evaluation. Recently, these issues have begun to attract more attention as they have caused public and embarrassing issues in research and development. Drawing from our experience as machine learning researchers, we follow the machine learning process from algorithm design to data collection to model evaluation, drawing attention to common pitfalls and providing practical recommendations for improvements. At each step, case studies are introduced to highlight how these pitfalls occur in practice, and where things could be improved.

研究の動機と目的

• 再現可能性と科学的厳密性を損なう応用機械学習研究におけるシステム的欠陥を是正すること。
• 悪いアルゴリズム設計、データ収集手法、モデル評価が、誤った実験結果を生み出す仕組みを明らかにすること。
• ML開発ライフサイクル全体における方法論的基準を向上させるための実用的で実行可能な提言を提供すること。
• より信頼性が高く倫理的なML研究を支援するため、共同レビューおよび研究の慣行に文化的・手続的変化を促すこと。
• 制御実験や統計的検証といった具体的な実践を通じて、研究者がより高い基準を採用するよう促すこと。

提案手法

• アルゴリズム設計、データ収集、モデル評価の3段階に分けた機械学習開発プロセスを再検討する。
• 偏ったデータセットや再現不能な結果といった、現実世界の誤った研究手法の事例を提示する事例研究を導入する。
• モデルがターゲット関数ではなくデータソースのパターンを学習しているかどうかを検出するために、データセット分類器を制御モデルとして訓練することを提言する。
• 再現可能性を確保し、ハイパーパrameterへの感受性を特定するために、コード、データ、設定の第三者による評価を推奨する。
• 標準誤差、仮説検定、複数のランダムシードを用いた統計的検証による結果の信頼性を向上させるための推奨事項を提示する。
• ML製品の正しさと安全性を検証するための制度的規範および認証機関（例：安全分野のULのようなもの）の設立を要請する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム設計におけるどのようなシステム的欠陥が、再現不能または誤解を招く機械学習結果を生じさせるか？
• RQ2 悪いデータ収集手法とデータセットバイアスは、モデルの性能と公平性をどの程度損なうか？
• RQ3 現在のモデル評価手法は、モデルが意図した関数ではなくデータアーチファクトを学習しているかどうかをどの程度検出できないか？
• RQ4 ML研究における再現可能性と統計的厳密性を高めるためのどのような方法論的改善が可能か？
• RQ5 ML研究におけるより高い基準を守るために、共同レビューおよび制度的慣行はどのように改革されるべきか？

主な発見

• 多くの機械学習論文が、データの清浄性の欠如、誤った仮定、弱い統計的検証のため、再現不能な結果を報告している。
• 医療画像分野における深層学習論文の多くは、広範な出版にもかかわらず、方法論的に不適切である。
• データセット分類器を制御実験として訓練することで、モデルがターゲット信号ではなくデータソースの違いを学習しているかどうかを検出できる。
• NAS論文のわずかな割合しか比較可能ではなく、探索空間の不一致のためでさえ、公開コードがあるにもかかわらず再現可能な論文はさらに少ない。
• ハイパーパrameterへの感受性を特定し、再現可能性を確保するためには、コード、データ、設定の第三者評価が不可欠である。
• ML研究の長期的信頼性を高めるためには、統計的厳密性の向上と共同レビューの責任感の強化という文化的転換が不可欠である。