[论文解读] A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates

H. Brendan McMahan|arXiv (Cornell University)|Sep 16, 2010

Sparse and Compressive Sensing Techniques参考文献 12被引用 24

一句话总结

本文通过展示FTRL-Proximal、RDA和COMID三种在线凸优化算法均可视为带有二次正则化的通用FTRL（Follow-the-Regularized-Leader）框架的特例，实现了三者的理论统一。研究证明，RDA和FTRL-Proximal在$L_1$-正则化问题中比FOBOS具有更好的稀疏性，原因在于它们对累积$L_1$惩罚项进行了精确处理，而FOBOS使用次梯度近似，从而为实验中观察到的稀疏性优势提供了关键的理论解释。

ABSTRACT

We study three families of online convex optimization algorithms: follow-the-proximally-regularized-leader (FTRL-Proximal), regularized dual averaging (RDA), and composite-objective mirror descent. We first prove equivalence theorems that show all of these algorithms are instantiations of a general FTRL update. This provides theoretical insight on previous experimental observations. In particular, even though the FOBOS composite mirror descent algorithm handles L1 regularization explicitly, it has been observed that RDA is even more effective at producing sparsity. Our results demonstrate that FOBOS uses subgradient approximations to the L1 penalty from previous rounds, leading to less sparsity than RDA, which handles the cumulative penalty in closed form. The FTRL-Proximal algorithm can be seen as a hybrid of these two, and outperforms both on a large, real-world dataset. Our second contribution is a unified analysis which produces regret bounds that match (up to logarithmic terms) or improve the best previously known bounds. This analysis also extends these algorithms in two important ways: we support a more general type of composite objective and we analyze implicit updates, which replace the subgradient approximation of the current loss function with an exact optimization.

研究动机与目标

• 建立三种主要在线学习算法——FTRL-Proximal、RDA和COMID——的理论统一。
• 解释为何在$L_1$正则化下RDA和FTRL-Proximal在生成稀疏解方面优于FOBOS。
• 将这些算法扩展以支持隐式更新，并处理具有时变正则化权重的更一般复合目标函数。
• 提供更紧致的遗憾分析，其界优于或等同于目前已知的最佳界，并引入一个新的FTRL/BTL引理。
• 提供一个统一的分析框架，推广先前结果，并支持在线凸优化中更广泛的算法设计。

提出的方法

• 将所有三种算法（FTRL-Proximal、RDA、COMID）形式化为带有二次正则化的通用FTRL更新的特例。
• 基于一个新版本的、更紧致的FTRL/BTL引理，采用统一的遗憾分析，改进了现有界中的常数因子。
• 通过用当前损失函数的精确优化替代一阶次梯度近似，引入隐式更新。
• 将复合目标函数推广，使其包含对非光滑项$\Psi(x)$的时变权重$\alpha_t$，从而支持贝叶斯先验建模。
• 证明统一分析在保持最小额外复杂度的前提下，可同时处理隐式更新和一般复合目标函数。
• 通过精确累积惩罚计算，证明RDA与FTRL-Proximal在处理$L_1$正则化时的等价性，而FOBOS则不然。

实验结果

研究问题

• RQ1 为何尽管RDA和FOBOS均使用一阶方法，RDA在$L_1$-正则化问题中产生的稀疏性显著优于FOBOS？
• RQ2 FTRL-Proximal能否被理解为RDA与FOBOS的混合体？它是否继承了两者的最优特性？
• RQ3 与显式一阶更新相比，隐式更新在改善遗憾界和实际性能方面能带来多大程度的提升？
• RQ4 能否将FTRL、RDA和COMID的遗憾分析统一于一个具有更紧界的新理论框架下？
• RQ5 在保持强遗憾保证的前提下，如何在在线学习中支持具有时变正则化权重$\alpha_t$的复合目标函数？

主要发现

• RDA和FTRL-Proximal在稀疏性方面优于FOBOS，原因在于它们对累积$L_1$惩罚项进行了精确计算，而FOBOS使用了前序轮次的次梯度近似。
• 在大规模真实世界搜索广告数据集上，FTRL-Proximal在稀疏性与准确率之间的权衡上优于FOBOS和RDA，表现出更优的综合性能。
• 统一的遗憾分析所得界与已有最佳界相当或更优，更紧致的FTRL/BTL引理显著降低了常数因子。
• 隐式更新通过用当前损失函数的精确优化替代次梯度近似，提供了理论上的一步优势，并可在实际中提升性能。
• 该框架可推广至非光滑项$\Psi(x)$具有非恒定权重$\alpha_t$的复合目标函数，从而在在线设置中实现贝叶斯先验的建模。
• 等价性定理表明，RDA与FOBOS的关键区别在于$L_1$惩罚的处理方式：RDA以累积且精确的方式处理，而FOBOS则以增量方式近似处理。