[论文解读] Capturing the learning curves of generic features maps for realistic data sets with a teacher-student model.

Bruno Loureiro, Cédric Gerbelot+5 more|arXiv (Cornell University)|Feb 16, 2021

Machine Learning and Data Classification被引用 21

一句话总结

本文提出一种基于通用特征映射的教师-学生框架，用于在真实数据上建模学习曲线，采用高维高斯协变量模型。该研究推导出训练损失和泛化误差的严格渐近公式，表明该框架能准确捕捉使用标准特征映射（如随机投影和散射变换）时核方法在真实数据集上的学习曲线。

ABSTRACT

Teacher-student models provide a powerful framework in which the typical case performance of high-dimensional supervised learning tasks can be studied in closed form. In this setting, labels are assigned to data - often taken to be Gaussian i.i.d. - by a teacher model, and the goal is to characterise the typical performance of the student model in recovering the parameters that generated the labels. In this manuscript we discuss a generalisation of this setting where the teacher and student can act on different spaces, generated with fixed, but generic feature maps. This is achieved via the rigorous study of a high-dimensional Gaussian covariate model. Our contribution is two-fold: First, we prove a rigorous formula for the asymptotic training loss and generalisation error achieved by empirical risk minimization for this model. Second, we present a number of situations where the learning curve of the model captures the one of a \emph{realistic data set} learned with kernel regression and classification, with out-of-the-box feature maps such as random projections or scattering transforms, or with pre-learned ones - such as the features learned by training multi-layer neural networks. We discuss both the power and the limitations of the Gaussian teacher-student framework as a typical case analysis capturing learning curves as encountered in practice on real data sets.

研究动机与目标

• 将教师-学生框架扩展至教师与学生在不同空间中操作的场景，通过通用特征映射实现。
• 在具有通用特征的高维设置下，为训练损失和泛化误差提供严格的渐近公式。
• 评估高斯教师-学生模型是否能通过标准特征映射再现真实数据中观察到的学习曲线。
• 评估该框架在建模使用核方法的实际机器学习场景时的潜力与局限性。

提出的方法

• 该框架采用高维高斯协变量模型，其中输入数据通过固定且通用的特征映射生成。
• 教师通过特征空间上的线性模型为数据分配标签，而学生通过经验风险最小化来恢复教师的参数。
• 在高维极限下进行严格的渐近分析，推导出训练损失和泛化误差的闭式表达式。
• 通过将推导出的学习曲线与真实数据集上核回归和分类的学习曲线进行比较，验证了分析结果。
• 该方法适用于预训练特征（如深度神经网络中的特征）以及固定特征映射（如随机投影和散射变换）。
• 理论结果通过随机矩阵理论和高维概率的工具推导得出。

实验结果

研究问题

• RQ1 基于通用特征映射的教师-学生框架能否准确再现使用核方法在真实数据中观察到的学习曲线？
• RQ2 在高维极限下，渐近训练损失和泛化误差如何依赖于特征映射的选择？
• RQ3 高斯教师-学生模型在多大程度上能捕捉使用现成或学习得到的特征在真实数据集上训练的模型的行为？
• RQ4 高斯假设在建模真实学习动态时存在哪些局限性？

主要发现

• 在具有通用特征映射的高维极限下，推导出训练损失和泛化误差的严格渐近公式。
• 当使用随机投影或散射变换作为特征映射时，该框架能准确捕捉核回归和分类在真实数据集上的学习曲线。
• 该模型还能复现通过深度神经网络预训练得到的特征所获得的学习曲线，证明了其实际相关性。
• 高斯教师-学生框架为真实学习动态提供了有效的典型情况分析，但其准确性取决于特征映射的结构和数据分布。