[论文解读] No-Regret Algorithms for Unconstrained Online Convex Optimization

M. J. V. Streeter, H. Brendan McMahan|arXiv (Cornell University)|Nov 9, 2012

Advanced Bandit Algorithms Research参考文献 9被引用 32

一句话总结

该论文提出了一类无遗憾算法，用于无约束在线凸优化，通过自适应调整学习率以基于累积梯度实现，针对任意比较器 $\mathring{x} \in \mathbb{R}^n$ 实现了近似最优的遗憾界 $\mathcal{O}(R\sqrt{T}\log((1+R)T))$，且无需事先知晓 $R = \|\mathring{x}\|_2$。值得注意的是，针对 $\mathring{x} = 0$ 的遗憾被限制为常数，从而在在线预测和投资组合管理等无约束设置中实现优异性能。

ABSTRACT

Some of the most compelling applications of online convex optimization, including online prediction and classification, are unconstrained: the natural feasible set is R^n. Existing algorithms fail to achieve sub-linear regret in this setting unless constraints on the comparator point x^* are known in advance. We present algorithms that, without such prior knowledge, offer near-optimal regret bounds with respect to any choice of x^*. In particular, regret with respect to x^* = 0 is constant. We then prove lower bounds showing that our guarantees are near-optimal in this setting.

研究动机与目标

• 解决现有在线凸优化算法在无约束设置中为实现次线性遗憾而需预先知晓比较器范数 $R$ 的局限性。
• 设计在所有比较器 $\mathring{x} \in \mathbb{R}^n$（包括 $\mathring{x} = 0$）下同时实现近似最优遗憾保证的算法，且无需预先知晓 $R$。
• 为在线预测和投资组合管理等可行集天然无约束的应用提供无约束在线学习的理论保证。
• 建立下界，证明所提出的遗憾界在无约束设置中为近似最优。

提出的方法

• 该算法根据过去梯度的累积 $L_2$ 范数动态调整学习率，实现在无需预先知晓比较器范数的情况下自适应缩放。
• 采用一种变体的 Follow-the-Regularized-Leader (FTRL) 方法，其正则化项随梯度范数之和而随时间增长。
• 当累积梯度幅值表明需要更激进的更新时，学习率会提高，从而在探索与利用之间取得平衡。
• 通过控制有效正则化项的增长，确保即使比较器为零向量时，原点遗憾也保持有界。
• 理论分析利用集中不等式和二项尾部界，推导出在对抗性梯度序列下的遗憾下界。
• 通过将一维边界应用于每个坐标并求和，将该框架扩展至多维设置。

实验结果

研究问题

• RQ1 能否设计出用于无约束在线凸优化的无遗憾算法，使其在无需事先知晓 $\|\mathring{x}\|_2$ 的情况下，对任意比较器 $\mathring{x} \in \mathbb{R}^n$ 实现次线性遗憾？
• RQ2 在无约束在线学习中，是否可能实现对原点（$\mathring{x} = 0$）的常数遗憾？若可以，其算法条件为何？
• RQ3 无约束在线线性优化中的遗憾基本极限是什么？与约束设置下的已知界限相比如何？
• RQ4 所提出的自适应学习率机制能否推广至非轴对齐或结构化可行集？

主要发现

• 所提出的算法在无需预先知晓 $R$ 的情况下，实现了相对于任意比较器 $\mathring{x} \in \mathbb{R}^n$ 的遗憾界 $\mathcal{O}(R\sqrt{T}\log((1+R)T))$，其中 $R = \|\mathring{x}\|_2$。
• 对原点（$\mathring{x} = 0$）的遗憾被限制为与 $T$ 无关的常数，相较于标准算法有显著改进。
• 下界表明，任何保证原点遗憾不超过 $\epsilon$ 的算法，对某些比较器 $\mathring{x}$ 必须承受至少 $\Omega(R\sqrt{T\log(R\sqrt{T}/\epsilon)})$ 的遗憾，证明了所提边界的近似最优性。
• 对于使用固定正则化项的 FTRL 算法，若 $\mathring{x}$ 落在 $[-\epsilon_T, \epsilon_T]$ 之外，则遗憾随 $T$ 线性增长，凸显了固定正则化项在无约束设置中的局限性。
• 结果被扩展至多维设置，遗憾界与比较器的 $\ell_1$-范数 $\|\mathring{x}\|_1$ 成比例，且通过坐标分解分析推导得出。
• 该框架适用于无约束投资组合管理与在线预测，即使在全部损失场景下，也能在至少一个投资标的或专家产生显著回报时实现财富指数级增长。