[论文解读] MetaGrad: Adaptation using Multiple Learning Rates in Online Learning

Tim van Erven, Wouter M. Koolen+1 more|arXiv (Cornell University)|Feb 12, 2021

Advanced Bandit Algorithms Research参考文献 47被引用 6

一句话总结

MetaGrad 是一种新颖的自适应在线学习算法，通过元算法动态组合多个学习率，在一般凸函数以及更简单的损失类型（如指数凹函数、强凸函数和满足 Bernstein 条件的函数）上实现快速收敛，同时保持对梯度大小的鲁棒性。其遗憾界为 O(√T ln ln T) 和 O(√(Vᵤᵀ d ln(T/d)) + d ln(T/d))，其中 Vᵤᵀ 衡量预测误差的方差，在基准任务中优于 OGD 和 AdaGrad。

ABSTRACT

We provide a new adaptive method for online convex optimization, MetaGrad, that is robust to general convex losses but achieves faster rates for a broad class of special functions, including exp-concave and strongly convex functions, but also various types of stochastic and non-stochastic functions without any curvature. We prove this by drawing a connection to the Bernstein condition, which is known to imply fast rates in offline statistical learning. MetaGrad further adapts automatically to the size of the gradients. Its main feature is that it simultaneously considers multiple learning rates, which are weighted directly proportional to their empirical performance on the data using a new meta-algorithm. We provide three versions of MetaGrad. The full matrix version maintains a full covariance matrix and is applicable to learning tasks for which we can afford update time quadratic in the dimension. The other two versions provide speed-ups for high-dimensional learning tasks with an update time that is linear in the dimension: one is based on sketching, the other on running a separate copy of the basic algorithm per coordinate. We evaluate all versions of MetaGrad on benchmark online classification and regression tasks, on which they consistently outperform both online gradient descent and AdaGrad.

研究动机与目标

• 开发一种自适应在线学习算法，无需事先了解损失结构即可自动利用有利的损失特性。
• 将不同损失类型（一般凸、指数凹、强凸及满足 Bernstein 条件的随机函数）的性能统一到单一框架中。
• 通过基于经验表现动态加权多个学习率，改进遗憾界。
• 设计适用于高维设置的可扩展变体，实现线性时间更新，包括坐标级和基于采样近似的版本。
• 在标准在线分类和回归基准上，通过实证验证 MetaGrad 相较于 OGD 和 AdaGrad 的优越性。

提出的方法

• MetaGrad 并行维护多个学习率（etas），每个学习率应用于独立的在线梯度下降更新副本。
• 它使用一种元算法，根据过去数据上的经验表现，按比例为每个学习率分配权重。
• 该算法通过累积损失的加权平均，动态调整学习率权重，优先选择遗憾更小的策略。
• 提出三种变体：完整矩阵（精确 Hessian 近似）、坐标级（逐坐标自适应）和基于采样的（高维下的低秩近似）。
• 遗憾分析将性能与 Bernstein 条件联系起来，表明当梯度满足该条件时，MetaGrad 可实现快速 O(√(Vᵤᵀ d ln(T/d))) 遗憾。
• 该方法在一般凸损失下仍保持鲁棒性，遗憾界为 O(√T ln ln T)，即使在无曲率的情况下亦成立。

实验结果

研究问题

• RQ1 是否存在一种在线学习算法，能够在不了解函数类别的前提下，同时对多种损失类型（如指数凹、强凸及无曲率的随机函数）实现快速收敛？
• RQ2 如何自适应地组合多个学习率，以在不同数据环境下提升遗憾性能？
• RQ3 Bernstein 条件与在线学习中快速收敛之间的理论联系是什么？如何在算法上加以利用？
• RQ4 能否设计出可扩展的算法变体，在高维下保持理论保证的同时实现线性时间更新？
• RQ5 学习率的自适应加权是否能持续带来相对于 OGD 和 AdaGrad 等现有方法的实证性能提升？

主要发现

• MetaGrad 在一般凸损失下达到 O(√T ln ln T) 的遗憾界，在有利损失类型下达到 O(√(Vᵤᵀ d ln(T/d)) + d ln(T/d)) 的遗憾界，其中 Vᵤᵀ 衡量预测误差的方差。
• 在所有基准数据集和损失函数上，MetaGrad 均优于 OGD 和 AdaGrad，且始终低于所有基线方法的遗憾值。
• 在 54 次实验中的 14 次，MetaGrad 取得最低遗憾；在 18 次中优于 AdaGrad，其遗憾中位数比值为 1.01–1.15（相对于 AdaGrad）。
• MetaGrad 的完整矩阵版本和基于采样的变体在性能上与坐标级版本相当，完整版本在低维和中维任务中表现最佳。
• MetaGrad 的实证优越性归因于其能更优地自适应最优学习率，经调优曲线分析证实，其性能非平滑，源于动态专家选择机制。
• 假设性调优实验表明，MetaGrad 可匹配或超越经过超参数调优的 AdaGrad，表明其在实际部署中具备理论保障的强竞争力。