[论文解读] A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization

Vineet Gupta, Tomer Koren+1 more|arXiv (Cornell University)|Jun 20, 2017

Sparse and Compressive Sensing Techniques参考文献 1被引用 9

一句话总结

本文通过将自适应算法表述为在正定矩阵上的追随最优解（FTL）方法，提出了一种统一的在线与随机优化自适应正则化框架，利用势函数 Φ 平衡正则化与梯度历史。该方法简化了收敛性分析，并通过不同 Φ 选择的闭式解，恢复了 AdaGrad 和在线牛顿法（ONS）等知名算法，实现了简洁的遗憾界，且技术开销最小。

ABSTRACT

We describe a framework for deriving and analyzing online optimization algorithms that incorporate adaptive, data-dependent regularization, also termed preconditioning. Such algorithms have been proven useful in stochastic optimization by reshaping the gradients according to the geometry of the data. Our framework captures and unifies much of the existing literature on adaptive online methods, including the AdaGrad and Online Newton Step algorithms as well as their diagonal versions. As a result, we obtain new convergence proofs for these algorithms that are substantially simpler than previous analyses. Our framework also exposes the rationale for the different preconditioned updates used in common stochastic optimization methods.

研究动机与目标

• 统一分析使用数据相关正则化（预条件）的自适应在线优化算法。
• 提供一个单一、系统化的框架，用于推导与分析 AdaGrad 和 ONS 等自适应方法。
• 通过将自适应正则化表述为正定矩阵上的追随最优解（FTL）问题，简化收敛性证明。
• 阐明现有自适应算法中不同预条件矩阵的内在原理。
• 通过系统选择势函数，实现新自适应算法的推导。

提出的方法

• 将自适应正则化表述为在正定矩阵 H 空间上的追随最优解（FTL）算法。
• 定义最小化问题：min_{H≻0} {∑_{s=1}^t ‖g_s‖_H² + Φ(H)} 以计算正则化矩阵 H_t。
• 通过不同势函数 Φ 恢复已知算法：Φ(H) = Tr(H⁻¹) 对应 AdaGrad，Φ(H) = -log|H| 对应 ONS。
• 通过将 H 约束为对角矩阵或单位矩阵的标量倍，推导对角与标量变体。
• 将该框架应用于凸与强凸情形，通过 FTL 分析推导遗憾界。
• 利用镜像下降与对偶性分析遗憾，利用势函数结构与矩阵范数特性。

实验结果

研究问题

• RQ1 如何通过单一框架统一推导与分析 AdaGrad 和 ONS 等自适应在线优化算法？
• RQ2 势函数 Φ 在决定预条件矩阵 H_t 结构中的作用是什么？
• RQ3 为何不同自适应算法采用不同的正则化形式，且能否实现系统化？
• RQ4 能否通过统一的基于 FTL 的方法显著简化自适应方法的收敛性分析？
• RQ5 对矩阵空间施加限制（如对角、标量）对推导实用高效算法有何影响？

主要发现

• 通过选择 Φ(H) = Tr(H⁻¹) 和 Φ(H) = -log|H|，该框架分别将 AdaGrad 与 ONS 作为特例恢复，且 H_t 具有闭式解。
• 对于 AdaGrad，预条件矩阵为 H_t = (∑_{s=1}^t g_s g_s^T)^{-1/2}；对于 ONS，为 H_t = (∑_{s=1}^t g_s g_s^T)^{-1}。
• 通过将 H 约束为对角矩阵，推导出 AdaGrad 与 ONS 的对角版本，保持相同的解析结构。
• 通过将 H 限制为单位矩阵的正倍数，获得标量变体，得到自适应学习率 η_t ∝ 1 / (ε + ∑_{s=1}^t ‖g_s‖²)。
• 在强凸情形下，该框架导出 O(log T) 的遗憾界，具体为 ≤ (γ²/α)(8 + log T)，适用于 α-强凸与 γ-Lipschitz 函数。
• 通过将问题表述为矩阵上的 FTL，分析显著简化，避免了先前工作中复杂的推导过程。