[论文解读] Learning Curves for Decision Making in Supervised Machine Learning: A Survey

Felix Mohr, Jan N. van Rijn|arXiv (Cornell University)|Jan 28, 2022

Machine Learning and Data Classification被引用 32

一句话总结

本综述框架针对监督式机器学习的学习曲线方法，按决策情境、学习曲线问题和数据资源对方法进行分类，并综述相关文献。

ABSTRACT

Learning curves are a concept from social sciences that has been adopted in the context of machine learning to assess the performance of a learning algorithm with respect to a certain resource, e.g., the number of training examples or the number of training iterations. Learning curves have important applications in several machine learning contexts, most notably in data acquisition, early stopping of model training, and model selection. For instance, learning curves can be used to model the performance of the combination of an algorithm and its hyperparameter configuration, providing insights into their potential suitability at an early stage and often expediting the algorithm selection process. Various learning curve models have been proposed to use learning curves for decision making. Some of these models answer the binary decision question of whether a given algorithm at a certain budget will outperform a certain reference performance, whereas more complex models predict the entire learning curve of an algorithm. We contribute a framework that categorises learning curve approaches using three criteria: the decision-making situation they address, the intrinsic learning curve question they answer and the type of resources they use. We survey papers from the literature and classify them into this framework.

研究动机与目标

• 鼓励在监督式机器学习中使用学习曲线来指导数据获取、早停和模型选择。
• 提供一个统一框架，基于三个标准对学习曲线方法进行分类：决策情境、学习曲线问题和数据资源。
• 在提出的框架内对现有文献进行综述和分类，以识别常见方法和空白。
• 讨论学习曲线的经验、参数化和分布式模型及其估计。
• 突出在学习曲线中的实际考量，如锚点、饱和点和良好行为性。

提出的方法

• 提出一个三标准的学习曲线方法分类法：决策情境、内在学习曲线问题和数据资源。
• 对现有文献进行综述并将每种方法在分类法中进行归类。
• 解释学习曲线的经验估计（例如留出法、交叉验证）以及基于模型的外推。
• 讨论用于拟合学习曲线的模型，特别是反幂律及其替代形式，并区分最拟合与最佳预测模型。
• 概述锚点、饱和点以及基于效用的停止点等概念，以辅助决策。

实验结果

研究问题

• RQ1 学习曲线方法如何根据决策情境、要回答的问题以及使用的数据资源来分类？
• RQ2 在监督学习中，使用学习曲线进行数据获取、早停和模型选择的现有方法有哪些？
• RQ3 哪些模型在不同学习者和数据集上最适合拟合或预测学习曲线，在何种条件下？
• RQ4 经验估计方法和模型选择如何影响学习曲线决策的可靠性？
• RQ5 在实际应用学习曲线时，哪些实用概念（例如锚点、饱和、平台期）是必不可少的？

主要发现

• 作者提出一个基于三项标准的学习曲线方法统一框架：决策情境、学习曲线问题和数据资源。
• 他们对所综述的方法进行了穷尽式分类，并讨论它们如何回答二元决策或预测完整的学习曲线。
• 反幂律模型被突出用于拟合各种学习者，同时还有对数式或指数形式等替代模型，且需注意最拟合与最佳预测适用性的差异。
• 经验学习曲线通过留出法或交叉验证计算；基于迭代的曲线讨论性能随训练迭代或时间的函数关系，其极限行为存在差异。
• 该综述讨论锚点（s）、饱和点（s_sat）及相应的性能（p_sat），并引入良好行为曲线（单调或凸形）的概念。
• 本文将学习曲线置于更广泛的效用曲线概念之中，承认数据获取成本和训练成本在决策中的作用。