[论文解读] Machine Learning Students Overfit to Overfitting

Matías Valdenegro-Toro, Matthia Sabatelli|arXiv (Cornell University)|Sep 7, 2022

Statistics Education and Methodologies被引用 5

一句话总结

本文识别了学生在机器学习课程中对过拟合的常见误解，包括错误解读训练损失、将实现错误误认为过拟合，以及应用不正确的解决方案。本文提出了一套使用案例框架——如多组测试集、不同规模的训练集，以及多样化的学习范式——以将过拟合教学为一种连续现象而非二元状态，从而提升概念理解并减少实践中的错误。

ABSTRACT

Overfitting and generalization is an important concept in Machine Learning as only models that generalize are interesting for general applications. Yet some students have trouble learning this important concept through lectures and exercises. In this paper we describe common examples of students misunderstanding overfitting, and provide recommendations for possible solutions. We cover student misconceptions about overfitting, about solutions to overfitting, and implementation mistakes that are commonly confused with overfitting issues. We expect that our paper can contribute to improving student understanding and lectures about this important topic.

研究动机与目标

• 识别并分析学生在机器学习课程中对过拟合的常见误解。
• 研究学生在错误地认为模型过拟合时，尝试的不正确解决方案，包括应用无关的模型调整或错误使用超参数。
• 突出学生常误认为是过拟合的实现错误，例如错误的损失函数或数据泄露。
• 提出教学使用案例，将过拟合作为连续的、基于判断的现象来教授，而非二元状态。
• 通过为教育者提供可操作的练习和检查清单，系统性地提升教学有效性。

提出的方法

• 分析本科和研究生机器学习课程中学生作业和考试的反馈，以识别关于过拟合的反复出现的误解。
• 将误解分为三类：概念性误解、不正确的解决方案，以及模仿过拟合的实现错误。
• 提出一组教学使用案例，包括多组测试集、不同规模的训练集，以及多样化的学习范式（例如强化学习、无监督学习）。
• 引入“负例”——故意有缺陷的模型代码——供学生调试和修正，以增强对实现陷阱的认知。
• 开发训练方案检查清单，系统性地诊断过拟合与泛化失败，基于损失监控和数据划分完整性。
• 倡导通过动态、多数据集和多任务实验来教授过拟合，而非依赖静态图表（如图1）来呈现其连续性。

实验结果

研究问题

• RQ1 学生在理解过拟合概念时，常出现哪些误解，特别是关于训练损失与验证损失比例的关系？
• RQ2 当学生认为模型过拟合时，他们常采用哪些不正确的解决方案？这些错误背后的驱动因素是什么？
• RQ3 哪些实现错误常被学生误认为是过拟合？如何系统性地识别这些错误？
• RQ4 教学方法应如何重新设计，以将过拟合呈现为一种连续现象而非二元状态？
• RQ5 哪些使用案例或练习最有助于学生区分过拟合、泛化失败或实现缺陷？

主要发现

• 学生常仅根据训练损失判断是否过拟合，而忽视了训练损失与验证损失之间‘泛化差距’的关键作用。
• 许多学生将准确率等非损失指标误认为是过拟合的指示信号，导致诊断推理错误。
• 常见的实现错误（如错误的损失函数、错误的输出维度或数据泄露）常被学生误认为是过拟合。
• 学生常应用无关的调整措施（如调整学习率或改变验证集大小）作为过拟合的解决方案，表明其概念理解不清。
• 使用多组测试集、不同规模的训练集，以及多样化学习范式（如强化学习、无监督学习）能有效说明过拟合是上下文依赖且连续的。
• 所提出的检查清单和负例练习显著提升了学生在实践中检测和调试过拟合相关问题的能力。