[论文解读] A Modern Introduction to Online Learning

Francesco Orabona|arXiv (Cornell University)|Dec 31, 2019

Advanced Bandit Algorithms Research参考文献 92被引用 68

一句话总结

一个关于在线凸优化的现代、全面的综述，详述在线学习算法（FTL、OGD、OMD、FTRL）及其遗憾分析、自适应方法，以及与更广泛议题的基础联系。

ABSTRACT

In this monograph, I introduce the basic concepts of Online Learning through a modern view of Online Convex Optimization. Here, online learning refers to the framework of regret minimization under worst-case assumptions. I present first-order and second-order algorithms for online learning with convex losses, in Euclidean and non-Euclidean settings. All the algorithms are clearly presented as instantiation of Online Mirror Descent or Follow-The-Regularized-Leader and their variants. Particular attention is given to the issue of tuning the parameters of the algorithms and learning in unbounded domains, through adaptive and parameter-free online learning algorithms. Non-convex losses are dealt through convex surrogate losses and through randomization. The bandit setting is also briefly discussed, touching on the problem of adversarial and stochastic multi-armed bandits. These notes do not require prior knowledge of convex analysis and all the required mathematical tools are rigorously explained. Moreover, all the included proofs have been carefully chosen to be as simple and as short as possible.

研究动机与目标

• 引入在线学习框架和遗憾最小化作为核心目标。
• 介绍关键在线算法（例如 Online Gradient Descent、Subgradient Descent、Mirror Descent、FTRL）及其遗憾分析。
• 探讨扩展：自适应/无参数方法、强凸性、Bandits，以及非平稳设定。
• 将在线学习与更广泛的主题联系起来，如凸分析、随机优化和学习理论。

提出的方法

• 将遗憾定义为相对于任意比较器和对手的对抗性损失序列。
• 发展并分析核心算法：Online Subgradient Descent、带投影的 Online Gradient Descent，以及 Follow-the-Regularized-Leader 变体。
• 引入 Online Mirror Descent 及其与子梯度和 Bregman 散度的联系。
• 给出证明和引理（例如 Be-the-Leader）以在凸性和有界梯度下建立子线性遗憾。

实验结果

研究问题

• RQ1 对于具有凸性（可微或不可微）损失的在线学习，可以保证哪些遗憾界？
• RQ2 在不同的凸性和定义域条件下，Online Gradient Descent、Subgradient Descent 与 Mirror Descent 的比较如何？
• RQ3 自适应性和无参数方法在实现无界或复杂定义域中的子线性遗憾方面扮演何种角色？
• RQ4 在线学习概念如何扩展到高级设置，如 bandits、鞍点问题和序列投资？

主要发现

• 在对抗性环境中，FTL 可能并非最优，这推动了带投影的 Online Gradient Descent。
• 在凸可微损失和有界定义域下，投影的 Online Gradient Descent 能得到子线性的遗憾界。
• Be-the-Leader 引理通过将自适应领导者的累计损失与固定比较器联系起来，为子线性遗憾提供基础。
• Online Mirror Descent 通过 Bregman 发散提供统一视角，且可以处理非欧几里得几何。
• 自适应和无参数的变体，以及强凸性，提升性能并扩大适用性。