[论文解读] A Survey on Curriculum Learning

Xin Wang, Yudong Chen+1 more|arXiv (Cornell University)|Oct 25, 2020

Machine Learning and Data Classification参考文献 145被引用 8

一句话总结

本综述对机器学习中的课程学习（CL）进行了全面回顾，提出了一种统一的框架——难度度量器 + 训练调度器，以系统化预定义和自动化的CL方法。结果表明，CL在视觉、自然语言处理和强化学习等多个领域均能提升模型的泛化能力和收敛速度，训练速度最快可提升70%，神经机器翻译任务中BLEU得分最高提升2.2分。

ABSTRACT

Curriculum learning (CL) is a training strategy that trains a machine learning model from easier data to harder data, which imitates the meaningful learning order in human curricula. As an easy-to-use plug-in, the CL strategy has demonstrated its power in improving the generalization capacity and convergence rate of various models in a wide range of scenarios such as computer vision and natural language processing etc. In this survey article, we comprehensively review CL from various aspects including motivations, definitions, theories, and applications. We discuss works on curriculum learning within a general CL framework, elaborating on how to design a manually predefined curriculum or an automatic curriculum. In particular, we summarize existing CL designs based on the general framework of Difficulty Measurer+Training Scheduler and further categorize the methodologies for automatic CL into four groups, i.e., Self-paced Learning, Transfer Teacher, RL Teacher, and Other Automatic CL. We also analyze principles to select different CL designs that may benefit practical applications. Finally, we present our insights on the relationships connecting CL and other machine learning concepts including transfer learning, meta-learning, continual learning and active learning, etc., then point out challenges in CL as well as potential future research directions deserving further investigations.

研究动机与目标

• 将课程学习（CL）方法在监督学习、弱监督学习和无监督学习设置下的系统化与分类化。
• 分析CL在计算机视觉、自然语言处理和强化学习等多样化应用中提升模型泛化能力和收敛速度的有效性。
• 识别并比较四类自动CL方法：自 paced 学习、迁移教师、强化学习教师及其他自动CL。
• 阐明CL与迁移学习、元学习、持续学习和主动学习等相关范式之间的关系。
• 突出开放挑战并提出未来研究方向，包括基准开发、理论基础建设以及更广泛的应用集成。

提出的方法

• 提出一种通用CL框架，包含难度度量器（用于按复杂度对训练样本进行排序）和训练调度器（用于控制更难样本的逐步引入）。
• 将CL分类为预定义型和自动型，其中自动CL进一步细分为：自 paced 学习（基于优化的驱动）、迁移教师（知识蒸馏）、强化学习教师（基于强化学习的选择）及其他自动CL。
• 通过难度度量器 + 训练调度器框架回顾现有CL设计，强调随时间推移对数据分布的重加权。
• 分析CL的理论基础，包括有效性条件（如数据集规模和难度递增），并讨论开放的理论问题。
• 将CL与主动学习、元学习等范式进行比较，突出其在动态数据选择机制上的共性及互补优势。
• 提出未来的方法论方向，包括与上下文 bandit 算法、元学习以及超参数优化的集成，以实现自动课程生成。

实验结果

研究问题

• RQ1 如何在多样化机器学习应用中，将课程学习系统化地归类并统一于单一框架之下？
• RQ2 在CL中，人工预定义课程与自动生成课程之间的关键差异与设计原则是什么？
• RQ3 与标准的随机训练相比，课程学习在哪些方面提升了模型性能和训练效率？
• RQ4 在数据选择与学习动态方面，CL方法与主动学习、元学习及持续学习有何异同？
• RQ5 CL中的主要开放挑战是什么，特别是在基准测试、理论研究以及现实世界应用可扩展性方面？

主要发现

• 课程学习在多样化领域中均能提升模型性能与收敛速度，训练时间最多可减少70%，神经机器翻译任务中BLEU得分最高提升2.2分。
• 在多媒体事件检测任务中，CL实现了相对MAP提升45.8%，且收敛速度显著快于标准批量训练。
• CL使强化学习智能体能够解决原本在无课程训练下难以处理的高难度目标导向任务。
• 自 paced 学习、迁移教师和强化学习教师等自动CL方法展现出强大潜力，但缺乏统一的理论保证与标准化评估体系。
• 缺乏通用基准（包含标准化数据集、评估指标和真实课程），严重阻碍了CL算法的公平比较与评估。
• CL的理论理解仍显不足，尤其在不同数据分布与任务目标下，数据集规模、方差与难度递增的影响尚不明确。