[论文解读] Fast Rates for Online Gradient Descent Without Strong Convexity via Hoffman's Bound.

Dan Garber|arXiv (Cornell University)|Feb 13, 2018

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文通过利用Hoffman不等式，在多面体集上对非强凸但具有曲率的损失函数，建立了在线梯度下降（OGD）在在线凸优化中的对数 regret。该方法在避免牛顿型方法高内存和高计算成本的同时，实现了与强凸情形下最佳已知速率相当的 $O(\log T)$ regret。

ABSTRACT

Hoffman's classical result gives a bound on the distance of a point from a convex and compact polytope in terms of the magnitude of violation of the constraints. Recently, several results showed that Hoffman's bound can be used to derive strongly-convex-like rates for first-order methods for convex optimization of curved, though not strongly convex, functions, over polyhedral sets. In this work, we use this classical result for the first time to obtain faster rates for extit{online convex optimization} over polyhedral sets with curved convex, though not strongly convex, loss functions. Mainly, we show that under several reasonable assumptions on the data, the standard extit{Online Gradient Descent} (OGD) algorithm guarantees logarithmic regret. To the best of our knowledge, the only previous algorithm to achieve logarithmic regret in the considered settings is the extit{Online Newton Step} algorithm which requires quadratic (in the dimension) memory and to solve a linear system on each iteration, which greatly limits its applicability to large-scale problems. We also show that in the corresponding stochastic convex optimization setting, Stochastic Gradient Descent achieves convergence rate of $1/t$, matching the strongly-convex case.

研究动机与目标

• 将快速收敛速率从强凸函数扩展到在线凸优化中的曲率明显但非强凸的函数。
• 克服现有算法（如在线牛顿步）的局限性，后者需要二次方内存并每轮求解线性系统。
• 证明在数据和损失函数曲率满足弱假设时，OGD 可实现对数 regret。
• 建立随机梯度下降在随机设置下达到 $1/t$ 收敛速率，与强凸情形下的速率一致。

提出的方法

• 利用Hoffman不等式，将多面体约束下的约束违反程度与到可行集的距离联系起来。
• 将Hoffman不等式应用于多面体集上非强凸损失函数的曲率相关误差界推导。
• 证明损失函数的曲率，结合有界的约束违反，可实现快速 regret 速率。
• 在这些曲率和约束条件下分析 OGD 更新规则，推导 regret 上界。
• 使用类似的曲率论证，推导随机设置下随机梯度下降的收敛速率。
• 依赖于对数据的假设，如有界梯度和损失函数曲率，以确保Hoffman不等式的适用性。

实验结果

研究问题

• RQ1 当损失函数具有曲率但非强凸时，OGD 是否能在在线凸优化中实现对数 regret？
• RQ2 在何种数据和损失函数曲率条件下，OGD 可在不承担牛顿型方法计算成本的前提下，达到其性能？
• RQ3 在非强凸但具有曲率的目标下，是否可使用 SGD 实现 $1/t$ 收敛速率？
• RQ4 Hoffman 不等式如何在缺乏强凸性的情况下实现更快的收敛速率？
• RQ5 在在线学习中使用 OGD 时，仍能实现快速 regret 的数据和损失函数的最小假设是什么？

主要发现

• 当损失函数具有曲率但非强凸时，OGD 在多面体集上的在线凸优化中可实现 $O(\log T)$ regret。
• 该 regret 上界通过Hoffman不等式推导，基于约束违反程度控制到可行集的距离。
• 该结果在合理假设下成立，如数据具有有界梯度和损失函数曲率。
• 在随机凸优化设置下，随机梯度下降实现了 $1/t$ 收敛速率，与强凸情形下的速率一致。
• 所提方法避免了在线牛顿步的 $O(d^2)$ 内存占用和每轮求解线性系统的开销，从而可扩展至高维情形。
• 本工作证明，结合多面体约束时，曲率本身足以在在线和随机设置下实现快速收敛速率，而无需强凸性。