[论文解读] Less Regret via Online Conditioning

M. J. V. Streeter, H. Brendan McMahan|arXiv (Cornell University)|Feb 25, 2010

Advanced Bandit Algorithms Research参考文献 14被引用 24

一句话总结

本文提出一种自适应、逐坐标的在线梯度下降算法，作为在线对角预条件器，显著降低了在线凸优化中的遗憾。该方法在理论遗憾界上优于标准在线梯度下降，并在大规模机器学习任务中，实证性能相比全局学习率方法最高提升一个数量级。

ABSTRACT

We analyze and evaluate an online gradient descent algorithm with adaptive per-coordinate adjustment of learning rates. Our algorithm can be thought of as an online version of batch gradient descent with a diagonal preconditioner. This approach leads to regret bounds that are stronger than those of standard online gradient descent for general online convex optimization problems. Experimentally, we show that our algorithm is competitive with state-of-the-art algorithms for large scale machine learning problems.

研究动机与目标

• 解决批量预条件技术在在线设置中缺乏对应方法的问题，以提升凸优化中的收敛速度。
• 克服在梯度幅值在不同坐标间显著变化时，在线设置下性能不佳的问题。
• 设计一种遗憾最小化算法，实现按坐标自适应调整学习率，且无需事先了解损失函数。
• 提供比标准在线梯度下降更紧的遗憾界理论保证，尤其在梯度在不同坐标间变化显著时表现更优。
• 在真实世界的在线学习任务（包括逻辑回归和二分类）中，表现出与最先进算法相当的性能。

提出的方法

• 提出一种在线梯度下降的变体，使用对角预条件器，基于历史梯度幅值独立调整每个坐标的更新步长。
• 采用源自遗憾最小化框架的逐坐标学习率更新规则，确保最坏情况下的遗憾界不会劣于标准在线梯度下降。
• 通过投影步骤将迭代点保持在可行集中，使用L2范数进行正则化和约束强制。
• 从梯度范数、特征方差和广义强凸性角度推导理论遗憾界，优于标准的O(GD√T)边界。
• 通过缩放理论公式的系数（例如，逐坐标为0.6/R，全局为0.2/R）在实践中调整学习率，以提升实际性能。
• 使用在线估计的可行集直径D，实现实时自适应学习率调整，尤其适用于全局学习率基线方法。

实验结果

研究问题

• RQ1 与标准在线梯度下降相比，自适应逐坐标学习率是否能改善在线凸优化中的遗憾界？
• RQ2 所提算法在真实世界机器学习任务中的性能，与最先进在线学习算法相比如何？
• RQ3 在特征间梯度幅值差异显著的问题中，逐坐标自适应在多大程度上能降低遗憾？
• RQ4 使用该方法，能否在广义强凸性或代价函数方差的更一般定义下，改进理论遗憾界？
• RQ5 该算法在包括稀疏和高维特征在内的多样化数据分布下，是否能保持强性能？

主要发现

• 所提的逐坐标学习率算法在真实世界逻辑回归数据集上，相比全局学习率方法，遗憾最多降低10倍。
• 在信用报告数据集上，逐坐标方法的遗憾为0.012，而全局方法为0.148，实现12倍的改进。
• 在多个二分类任务中，该算法在最小化合页损失方面持续优于标准在线梯度下降。
• 在分类准确率方面，逐坐标方法与最先进的算法（如置信加权学习，CW）相当或更优，尽管其适用于一般的在线凸优化问题。
• 理论遗憾界优于标准在线梯度下降，尤其在梯度范数在不同坐标间显著变化时。
• 通过经验调优学习率缩放系数（如两种方法均设为0.1），可进一步提升性能，且不改变算法间的相对比较结果。