[论文解读] Pitfalls in Machine Learning Research: Reexamining the Development Cycle

Stella Biderman, Walter J. Scheirer|arXiv (Cornell University)|Nov 4, 2020

Adversarial Robustness in Machine Learning参考文献 44被引用 12

一句话总结

本文识别了机器学习研究开发周期中的关键陷阱——算法设计、数据收集和模型评估——指出了数据卫生差、假设错误和统计严谨性不足等问题。文章提出了可操作的改进建议，包括第三方代码/数据审查、数据集分类器控制以及统计验证，以提升机器学习研究的可复现性和科学严谨性。

ABSTRACT

Machine learning has the potential to fuel further advances in data science, but it is greatly hindered by an ad hoc design process, poor data hygiene, and a lack of statistical rigor in model evaluation. Recently, these issues have begun to attract more attention as they have caused public and embarrassing issues in research and development. Drawing from our experience as machine learning researchers, we follow the machine learning process from algorithm design to data collection to model evaluation, drawing attention to common pitfalls and providing practical recommendations for improvements. At each step, case studies are introduced to highlight how these pitfalls occur in practice, and where things could be improved.

研究动机与目标

• 解决应用机器学习研究中存在的系统性缺陷，这些缺陷损害了可复现性和科学严谨性。
• 阐明不良的算法设计、数据收集实践和模型评估如何导致虚假的实验结果。
• 为提升机器学习开发全生命周期的方法论标准，提供实用且可操作的建议。
• 倡导在同行评审和研究规范方面进行文化和程序上的变革，以支持更可靠和伦理的机器学习研究。
• 通过控制实验和统计验证等具体实践，鼓励研究人员采用更高标准。

提出的方法

• 将机器学习开发周期分为三个阶段重新审视：算法设计、数据收集和模型评估。
• 引入案例研究，说明现实世界中存在缺陷的研究实践，包括有偏见的数据集和不可复现的结果。
• 提出训练一个数据集分类器作为控制模型，以检测模型是否学习了数据源模式而非目标函数。
• 倡导对代码、数据和配置进行第三方评估，以确保可复现性，并检测对超参数的敏感性。
• 建议使用标准误、假设检验和多个随机种子进行统计验证，以提高结果的可靠性。
• 呼吁建立机构规范和认证机构（例如，类似于安全领域的UL）来验证机器学习产品的正确性和安全性。

实验结果

研究问题

• RQ1 算法设计中的哪些系统性缺陷会导致机器学习结果无法复现或产生误导？
• RQ2 不良的数据收集实践和数据集偏差在多大程度上损害了模型性能和公平性？
• RQ3 当前的模型评估实践在多大程度上未能检测出模型学习的是数据特征而非预期函数？
• RQ4 哪些方法论改进能够提升机器学习研究的可复现性和统计严谨性？
• RQ5 如何改革同行评审和机构规范，以在机器学习研究中强制执行更高标准？

主要发现

• 许多机器学习论文报告的结果因数据卫生差、假设错误和统计验证薄弱而无法复现。
• 尽管广泛发表，大量医学影像领域的深度学习论文在方法论上存在缺陷。
• 通过训练数据集分类器作为控制实验，可以检测模型是否学习了数据源差异而非目标信号。
• 仅有极少数神经架构搜索（NAS）论文具有可比性，原因在于搜索空间不一致，且即使开源代码，可复现的论文也极少。
• 对代码、数据和配置进行第三方评估对于检测对超参数的敏感性并确保可复现性至关重要。
• 必须推动文化转变，提升统计严谨性并加强同行评审问责，以长期提升机器学习研究的可信度。