[论文解读] How to avoid machine learning pitfalls: a guide for academic researchers

Michael A. Lones|arXiv (Cornell University)|Aug 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 23被引用 44

一句话总结

本指南概述 academia 中常见的机器学习错误及避免它们的实际策略，涵盖数据准备、模型构建、评估、公平比较与报告。

ABSTRACT

Mistakes in machine learning practice are commonplace, and can result in a loss of confidence in the findings and products of machine learning. This guide outlines common mistakes that occur when using machine learning, and what can be done to avoid them. Whilst it should be accessible to anyone with a basic understanding of machine learning techniques, it focuses on issues that are of particular concern within academic research, such as the need to do rigorous comparisons and reach valid conclusions. It covers five stages of the machine learning process: what to do before model building, how to reliably build models, how to robustly evaluate models, how to compare models fairly, and how to report results.

研究动机与目标

• 在学术研究中识别应用机器学习的常见陷阱。
• 提供可操作的数据理解、数据处理和研究设计指南。
• 促进严格的模型评估、公平比较和透明报告，以提高可发表性和可重复性。
• 鼓励与领域专家和文献交流，使ML工作具有现实世界相关性。
• 强调部署的实际考虑与现代机器学习发展，以避免过度依赖趋势。

提出的方法

• 提供一个结构化的“应做与不应做”风格指南，适合具备基础ML知识的研究人员。
• 在构建模型之前讨论以数据为中心的前提条件，包括数据来源、质量和部署考虑。
• 就模型选择、超参数调优以及对深度学习陷阱的认识提供建议，并附上最新参考文献。

实验结果

研究问题

• RQ1 在学术研究中，哪些关键阶段和实践能够防止常见的ML陷阱？
• RQ2 研究人员如何可靠地构建和评估ML模型以确保泛化性？
• RQ3 哪些指导原则能够确保学术工作中ML结果的公平比较与透明报告？
• RQ4 部署考虑应如何影响研究项目中的ML方法？

主要发现

• 通过适当的数据划分、预处理以及在模型选择阶段限制测试集影响来避免数据泄漏。
• 进行多种模型的实验并使用原理性优化来调整超参数；避免假设只有一个最佳模型。
• 在拆分数据前不要执行数据增强或特征选择，以防止泄漏和偏差评估。
• 使用合适的测试集、多个评估运行和嵌套交叉验证以获得可靠的性能估计。
• 在多种指标中报告性能，并对方法、局限性和数据来源保持透明。
• 对深度学习保持谨慎：它并不总是更优，可能需要大量数据并慎重考虑可解释性和隐私问题。