[论文解读] Meta-learning with negative learning rates

Alberto Bernacchia|arXiv (Cornell University)|Feb 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 11被引用 4

一句话总结

本文在元学习的内循环中引入了负的学习率，特别针对MAML模型，理论上证明了在过参数化的线性和非线性模型中，最优性能可通过负学习率实现。利用随机矩阵理论和精确解，证明了负学习率优于正或零学习率，挑战了当前认为当学习率为零时内循环优化不必要或次优的普遍假设。

ABSTRACT

Deep learning models require a large amount of data to perform well. When data is scarce for a target task, we can transfer the knowledge gained by training on similar tasks to quickly learn the target. A successful approach is meta-learning, or "learning to learn" a distribution of tasks, where "learning" is represented by an outer loop, and "to learn" by an inner loop of gradient descent. However, a number of recent empirical studies argue that the inner loop is unnecessary and more simple models work equally well or even better. We study the performance of MAML as a function of the learning rate of the inner loop, where zero learning rate implies that there is no inner loop. Using random matrix theory and exact solutions of linear models, we calculate an algebraic expression for the test loss of MAML applied to mixed linear regression and nonlinear regression with overparameterized models. Surprisingly, while the optimal learning rate for adaptation is positive, we find that the optimal learning rate for training is always negative, a setting that has never been considered before. Therefore, not only does the performance increase by decreasing the learning rate to zero, as suggested by recent work, but it can be increased even further by decreasing the learning rate to negative values. These results help clarify under what circumstances meta-learning performs best.

研究动机与目标

• 通过分析内循环学习率的作用，解决元学习中内循环优化是否必要的持续争议。
• 研究在MAML中变化内循环学习率的理论影响，特别是针对过参数化和非线性模型。
• 确定此前未被探索的负学习率是否能带来优于零或正学习率的泛化性能。
• 利用神经正切核框架，将理论分析从线性模型扩展至非线性模型。

提出的方法

• 利用随机矩阵理论，推导出在混合线性回归中MAML平均测试损失的精确代数表达式。
• 应用神经正切核框架，将宽神经网络近似为参数的线性函数，从而实现对非线性设置的理论分析。
• 使用大群体渐近分析（大p，nt）来计算涉及数据矩阵和协方差结构的迹项的高维期望。
• 采用泰勒展开和数量级近似（O(ξ⁻³/²)）来简化高维极限下的复杂迹表达式。
• 推导出作为内循环学习率αt函数的测试损失闭式表达式，包括权重方差、噪声和数据协方差的贡献。
• 通过在线性与非线性回归任务上的广泛实验，验证理论预测。

实验结果

研究问题

• RQ1 在MAML中，为实现最佳泛化性能，内循环学习率的最优值是什么？
• RQ2 如近期实证研究所示，是否移除内循环（即设置学习率为零）能获得最佳性能？
• RQ3 内循环中使用负学习率是否能带来优于正或零学习率的测试性能？
• RQ4 在具有宽神经网络的非线性模型中，负学习率的优势是否依然存在？
• RQ5 线性模型中的理论预测如何推广到非线性、过参数化的设置？

主要发现

• 在过参数化的混合线性回归中，元训练的最优内循环学习率始终为负，其测试损失低于任何正或零学习率。
• 在欠参数化模型中，当最优学习率的绝对值较小时，负学习率仍为最优，但该结果的普适性较弱。
• 理论分析表明，负学习率通过稳定元优化过程来改善泛化性能，尽管这违背了标准梯度下降的直觉。
• 实证验证表明，负学习率在线性与非线性回归任务中均显著降低测试损失，优于零或正学习率。
• 对于具有宽神经网络的非线性模型，初步实验表明负学习率同样能提升性能，但完整的理论证明仍待解决。
• 推导出的测试损失表达式在高维极限下是精确的，且显式依赖于内循环学习率，从而可实现超参数的精确优化。