[论文解读] A Survey of Algorithms and Analysis for Adaptive Online Learning

H. Brendan McMahan|arXiv (Cornell University)|Mar 14, 2014

Advanced Bandit Algorithms Research参考文献 32被引用 26

一句话总结

本文通过展示自适应正则化下FTRL（Follow-The-Regularized-Leader）、镜像下降（Mirror Descent）与对偶平均（Dual Averaging）三类自适应在线学习算法的等价性，提出了一套统一且模块化的分析框架。该框架建立了适用于每一时刻的紧致遗憾界，推广了现有结果，包括AdaGrad风格的数据依赖型边界，并通过隔离可复用的引理，证明了在自适应正则化下镜像下降与FTRL之间的精确等价性。

ABSTRACT

We present tools for the analysis of Follow-The-Regularized-Leader (FTRL), Dual Averaging, and Mirror Descent algorithms when the regularizer (equivalently, prox-function or learning rate schedule) is chosen adaptively based on the data. Adaptivity can be used to prove regret bounds that hold on every round, and also allows for data-dependent regret bounds as in AdaGrad-style algorithms (e.g., Online Gradient Descent with adaptive per-coordinate learning rates). We present results from a large number of prior works in a unified manner, using a modular and tight analysis that isolates the key arguments in easily re-usable lemmas. This approach strengthens pre-viously known FTRL analysis techniques to produce bounds as tight as those achieved by potential functions or primal-dual analysis. Further, we prove a general and exact equivalence between an arbitrary adaptive Mirror Descent algorithm and a correspond- ing FTRL update, which allows us to analyze any Mirror Descent algorithm in the same framework. The key to bridging the gap between Dual Averaging and Mirror Descent algorithms lies in an analysis of the FTRL-Proximal algorithm family. Our regret bounds are proved in the most general form, holding for arbitrary norms and non-smooth regularizers with time-varying weight.

研究动机与目标

• 在单一理论框架下统一分析自适应在线学习算法，包括FTRL、镜像下降与对偶平均。
• 开发模块化且紧致的遗憾分析，隔离出可复用于不同算法与场景的通用引理。
• 证明任意自适应镜像下降算法与对应FTRL更新之间的精确等价性，从而可通过FTRL框架分析镜像下降。
• 推导出在每一时刻T均成立的遗憾界，即使在未知时长（unknown-horizon）场景下也适用，使用时变且数据依赖的正则化项。
• 在一般p-范数与非光滑正则化下，恢复并改进已有边界，包括AdaGrad风格的数据依赖型遗憾界。

提出的方法

• 本文引入一个通用的FTRL框架，采用自适应正则化项 $ r_t $，其中每个 $ r_t $ 基于历史损失 $ f_1, \dots, f_t $ 选择，从而实现数据依赖的学习率。
• 通过证明任意镜像下降算法可重述为对应正则化项下的FTRL更新，建立了自适应镜像下降与FTRL更新之间的通用等价性。
• 分析采用一种新颖的稳定性方法，通过Bregman散度界定遗憾，并利用强FTRL引理控制连续迭代之间的差异。
• 关键组成部分包括使用时变Bregman散度 $ \mathcal{B}_{r_t}(x^*, x_{t+1}) $，以及将损失分解为代理函数 $ \bar{f}_t $ 以简化优化与遗憾分析。
• 该框架支持任意p-范数与非光滑正则化，并通过初始正则化项 $ r_0 $ 中的指示函数处理可行集。
• 通过证明稳定性项之和有界于 $ \sum_{t=1}^T \frac{1}{2}\|g_t\|_{(t),\star}^2 $（其中 $ g_t $ 为 $ f_t $ 的次梯度），建立紧致的遗憾界。

实验结果

研究问题

• RQ1 能否在自适应正则化下，为FTRL、镜像下降与对偶平均算法构建统一的分析框架？
• RQ2 自适应镜像下降与FTRL算法之间的确切关系为何？该等价性能否在一般条件下得到证明？
• RQ3 能否推导出在T未知或时变时仍成立的、适用于每一时刻T的遗憾界？
• RQ4 如何在单一框架内正式分析并推广数据依赖型、逐坐标学习率（如AdaGrad中所用）？
• RQ5 能否使分析具备模块化与紧致性，通过可复用的引理恢复或改进已有结果？

主要发现

• 本文证明了任意自适应镜像下降算法与对应FTRL更新之间的通用且精确等价性，从而可通过FTRL框架分析镜像下降。
• 建立了形式为 $ \operatorname{Regret}(x^*) \leq \mathcal{B}_{r_{0:T}}(x^*, x_1) + \sum_{t=1}^T \frac{1}{2}\|g_t\|_{(t),\star}^2 $ 的紧致遗憾界，该界对所有时刻T均成立，并推广了AdaGrad风格的边界。
• 该分析恢复并改进了已有结果，包括Duchi等（2010b）的工作，证明的边界紧致程度与潜在函数法或对偶-对偶分析所得边界相当。
• 该框架支持任意p-范数与非光滑正则化，且具有时变权重，适用于广泛的在线凸优化问题。
• 该方法将关键论证隔离为可复用的引理（如强FTRL引理），可应用于不同算法与设置。
• 该方法可实现数据依赖型遗憾界，不仅关于T亚线性，且能自适应于损失函数的几何结构与比较器的范数 $ \|x^*\| $。