[论文解读] Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity

Dan Garber|arXiv (Cornell University)|Feb 13, 2018

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文证明了在线梯度下降（OGD）在可行集为凸多面体时，对一大类非强凸损失函数可实现对数 regret。这类损失函数的特点是：经线性变换后变为强凸函数。通过利用霍夫曼（Hoffman）不等式推导出二次增长性质，作者证明了采用倒数时间步学习率的 OGD 可保证 $\mathcal{O}(\log T)$ 的 regret，提供了一种计算效率高、且不牺牲收敛速度的在线牛顿步（ONS）替代方法。

ABSTRACT

Hoffman's classical result gives a bound on the distance of a point from a convex and compact polytope in terms of the magnitude of violation of the constraints. Recently, several results showed that Hoffman's bound can be used to derive strongly-convex-like rates for first-order methods for extit{offline} convex optimization of curved, though not strongly convex, functions, over polyhedral sets. In this work, we use this classical result for the first time to obtain faster rates for extit{online convex optimization} over polyhedral sets with curved convex, though not strongly convex, loss functions. We show that under several reasonable assumptions on the data, the standard extit{Online Gradient Descent} algorithm guarantees logarithmic regret. To the best of our knowledge, the only previous algorithm to achieve logarithmic regret in the considered settings is the extit{Online Newton Step} algorithm which requires quadratic (in the dimension) memory and at least quadratic runtime per iteration, which greatly limits its applicability to large-scale problems. In particular, our results hold for extit{semi-adversarial} settings in which the data is a combination of an arbitrary (adversarial) sequence and a stochastic sequence, which might provide reasonable approximation for many real-world sequences, or under a natural assumption that the data is low-rank. We demonstrate via experiments that the regret of OGD is indeed comparable to that of ONS (and even far better) on curved though not strongly-convex losses.

研究动机与目标

• 弥合 OGD 与 ONS 在非强凸设置下的 regret 性能差距。
• 确定 OGD 尽管本身非强凸，但在何种条件下可实现对数 regret。
• 提供一种计算高效的 ONS 替代方案，后者每轮迭代需二次时间与空间复杂度。
• 利用经典凸分析工具，将在线凸优化中的快速收敛率推广至强凸性之外的场景。
• 形式化损失函数中线性变换的一致性条件，使 OGD 能通过该条件实现快速收敛。

提出的方法

• 利用霍夫曼的经典不等式，将约束违反程度与到多面体的距离关联，从而在可行集内实现二次增长。
• 将该不等式应用于形如 $ g({\mathbf{C}}_t {\mathbf{x}}) $ 的损失函数，其中 $ g $ 为强凸函数，$ {\mathbf{C}}_t $ 为线性变换。
• 从霍夫曼不等式推导出二次增长性质，从而在在线优化中实现更快的收敛速率。
• 引入学习率 $ \eta_t = \frac{1}{\sigma t} $，其中 $ \sigma $ 为平均格拉姆矩阵 $ \frac{1}{T}\sum_t {\mathbf{C}}_t^\top {\mathbf{C}}_t $ 的霍夫曼常数。
• 在半对抗性与随机性设置下分析 regret，证明在 $ {\mathbf{C}}_t $ 满足一致性条件时，可实现对数 regret。
• 通过 $ \ell_1 $-球约束，在 LASSO、MNIST 和 CIFAR10 上对 OGD 与 ONS 的性能进行实验验证。

实验结果

研究问题

• RQ1 对于在子空间中为强凸但全局非强凸的损失函数，OGD 是否可实现对数 regret？
• RQ2 在 $ f_t({\mathbf{x}}) = g({\mathbf{C}}_t {\mathbf{x}}) $ 中，线性变换 $ {\mathbf{C}}_t $ 需满足何种条件，才能保证 OGD 实现 $ \mathcal{O}(\log T) $ 的 regret？
• RQ3 霍夫曼不等式是否可用于在线凸优化中，推导出超越离线设置的快速收敛率？
• RQ4 OGD 是否在 regret 表现上可与 ONS 竞争，同时保持每轮迭代的线性时间复杂度？
• RQ5 半对抗性数据与低秩数据假设如何影响 OGD 的 regret 表现？

主要发现

• 即使全局非强凸，OGD 对于经线性变换后变为强凸的损失函数，仍可实现 $ \mathcal{O}(\log T) $ 的 regret。
• 该 regret 上界为 $ \frac{\alpha_1 \alpha_2 \sigma D^2}{2} + \frac{\bar{G}^2}{2\alpha_1 \alpha_2 \sigma}(1 + \ln T) $，其中 $ \sigma $ 为平均格拉姆矩阵的霍夫曼常数。
• 在半对抗性设置下，只要随机部分满足协方差一致性条件，该方法仍有效。
• 对于低秩数据，regret 上界仍为对数级，且在 LASSO、MNIST 和 CIFAR10 上的实验中，OGD 表现优于 ONS。
• 实验结果表明，尽管 OGD 每轮迭代仅需线性时间，而 ONS 需二次时间，但 OGD 的平均损失收敛速度与 ONS 相当或更优。
• 该方法通过避免非欧几里得投影与矩阵求逆，提供了一种可扩展的 ONS 替代方案，适用于大规模问题。