[论文解读] Adaptive Bound Optimization for Online Convex Optimization

H. Brendan McMahan, M. J. V. Streeter|arXiv (Cornell University)|Feb 26, 2010

Advanced Bandit Algorithms Research参考文献 19被引用 140

一句话总结

本文提出了一种用于在线凸优化的跟随近似正则化领导者（FTPRL）算法，该算法根据观测到的梯度自适应选择正则化矩阵，实现了与最优问题相关边界竞争的遗憾界。该方法在结构化可行集（如超长方体）上显著提升了性能，在未事先了解问题结构的情况下，其遗憾界仅比事后最优边界高√2倍。

ABSTRACT

We introduce a new online convex optimization algorithm that adaptively chooses its regularization function based on the loss functions observed so far. This is in contrast to previous algorithms that use a fixed regularization function such as L2-squared, and modify it only via a single time-dependent parameter. Our algorithm's regret bounds are worst-case optimal, and for certain realistic classes of loss functions they are much better than existing bounds. These bounds are problem-dependent, which means they can exploit the structure of the actual problem instance. Critically, however, our algorithm does not need to know this structure in advance. Rather, we prove competitive guarantees that show the algorithm provides a bound within a constant factor of the best possible bound (of a certain functional form) in hindsight.

研究动机与目标

• 开发一种在线凸优化算法，通过自适应调节正则化以匹配观测到的损失函数，从而在遗憾界上超越最坏情况的界限。
• 解决现有算法（如在线梯度下降）中固定正则化带来的局限性，这些算法无法利用问题的结构特性。
• 提供与最优问题相关遗憾界具有竞争力的遗憾界，即使在事先未知问题结构的情况下亦可实现。
• 证明通过正定矩阵实现的自适应正则化可在如超长方体等可行集上带来显著的性能提升。

提出的方法

• 该算法采用跟随正则化领导者（FTRL）框架，但正则化项以当前可行点 $x_t$ 为中心，而非原点。
• 采用形式为 $r_t(x) = \frac{1}{2}\|Q_t^{1/2}(x - x_t)\|_2^2$ 的自适应正则化矩阵 $Q_t$，实现对各方向的自适应调节。
• 遗憾界表达为 $B_R(\vec{Q_T}, \vec{g_T}) = \frac{1}{2}\sum_{t=1}^T \max_{\hat{y} \in \mathcal{F}_{\text{sym}}} (\hat{y}^\top Q_t \hat{y}) + \sum_{t=1}^T g_t^\top Q_{1:t}^{-1} g_t$，其依赖于可行集的形状与梯度范数。
• 提出了两种自适应方案：针对超长方体集合的FTPRL-Diag，以及针对范数有界的集合的FTPRL-Scale，二者均实现了相对于最优 $B_R$ 的 $\sqrt{2}$-竞争力。
• 分析证明，自适应选择 $Q_t$ 可确保遗憾界始终处于最优可能 $B_R$ 边界的一个常数因子之内，即使在事先未知损失函数的情况下亦成立。
• 该方法利用正则化的近似中心化，实现对所有历史梯度的全局优化，而非仅局部更新。

实验结果

研究问题

• RQ1 自适应正则化矩阵能否在在线凸优化中实现超越固定正则化方案的遗憾界？
• RQ2 正则化矩阵形状的选择如何影响在不同可行集几何结构（如超立方体与超球面）下的遗憾性能？
• RQ3 能否在事先未知问题结构的情况下，实现与最优问题相关遗憾界具有竞争力的遗憾界？
• RQ4 当可行集具有超长方体结构时，自适应正则化的理论保证是什么？
• RQ5 能否设计出在保持强遗憾界保证的同时，兼具高效性与可扩展性的算法，以应对真实世界的学习问题？

主要发现

• 对于超长方体可行集，FTPRL-Diag算法的遗憾界不超过最优可能 $B_R$ 边界的 $\sqrt{2}$ 倍，且仅针对对角矩阵。
• 对于形如 $\{x \mid \|Ax\|_2 \leq 1\}$ 的可行集，FTPRL-Scale方案实现了相对于所有正定矩阵的 $\sqrt{2}$-竞争力。
• 该算法提供了问题相关的遗憾界，其性能显著优于结构化问题（如梯度具有稀疏性或各向异性行为）的最坏情况边界。
• 遗憾界 $B_R(\vec{Q_T}, \vec{g_T})$ 即使在最优 $Q_t$ 事先未知的情况下，仍能与该函数形式的最优边界保持竞争力。
• 在超球面情况下，该方法实现了最坏情况下的最优性，与现有边界一致；但在超长方体集合上，性能得到显著提升。
• 自适应方案高效且能有效利用大规模学习任务（如点击率预测与文本分类）中常见的结构特性。