[论文解读] Online Non-Convex Learning: Following the Perturbed Leader is Optimal

Arun Sai Suggala, Praneeth Netrapalli|arXiv (Cornell University)|Mar 19, 2019

Advanced Bandit Algorithms Research参考文献 14被引用 7

一句话总结

本文证明了在具有离线优化查询接口的在线非凸学习中，Follow the Perturbed Leader（FTPL）算法可实现最优的 $O(T^{-1/2})$ 冗余率，优于先前的 $O(T^{-1/3})$ 边界。此外，本文提出了一种子孙的FTPL乐观变体，利用可预测的损失序列，在结构化条件下实现了更优的冗余边界。

ABSTRACT

We study the problem of online learning with non-convex losses, where the learner has access to an offline optimization oracle. We show that the classical Follow the Perturbed Leader (FTPL) algorithm achieves optimal regret rate of $O(T^{-1/2})$ in this setting. This improves upon the previous best-known regret rate of $O(T^{-1/3})$ for FTPL. We further show that an optimistic variant of FTPL achieves better regret bounds when the sequence of losses encountered by the learner is `predictable'.

研究动机与目标

• 为在线非凸学习中最佳已知冗余率与理论下界之间的差距提供填补。
• 证明经典FTPL算法在损失函数为Lipschitz连续的非凸函数且可访问离线优化查询接口的条件下，可实现最优的 $O(T^{-1/2})$ 冗余率。
• 将FTPL扩展为一种乐观变体，利用可预测的损失序列在结构化设定中实现更优的冗余边界。
• 形式化并分析扰动与近似误差在非凸设定下对FTPL性能的影响。

提出的方法

• 本文使用 $(\alpha, \beta)$-近似离线优化查询接口分析标准FTPL算法，该接口返回 $f(\mathbf{x}) - \langle \sigma, \mathbf{x} \rangle$ 的极小化点，且误差有界。
• 采用独立的指数分布扰动 $\sigma_t \sim \text{Exp}(\eta)$ 以确保动作选择中的探索与稳定性。
• 分析依赖于利用单调性与扰动敏感性引理，对连续预测之间差值的 $\ell_1$-范数 $\|\mathbf{x}_t - \bar{\mathbf{x}}_{t+1}\|_1$ 进行有界控制。
• 关键技术工具包括损失函数的Lipschitz连续性，以及一种新颖的基于扰动的论证方法，用于关联扰动向量变化与极小化点变化之间的关系。
• 针对可预测损失，引入了乐观FTPL（OFTPL）变体，通过引入对下一时刻损失的预测来优化决策过程。
• 通过集中不等式与考虑近似误差 $\gamma(\sigma) = \alpha + \beta\|\sigma\|_1$ 的递归不等式推导出理论边界。

实验结果

研究问题

• RQ1 经典FTPL算法在具有离线查询接口的在线非凸学习中能否实现最优的 $O(T^{-1/2})$ 冗余率？
• RQ2 FTPL在非凸损失下的性能是否会下降？若会，能否通过扰动设计与查询接口优化来缓解？
• RQ3 当损失序列表现出可预测性或结构特征时，是否可进一步改善冗余边界？
• RQ4 近似误差 $\alpha + \beta\|\sigma\|_1$ 在非凸设定下对FTPL的收敛性与稳定性起何作用？

主要发现

• 当使用 $(\alpha, \beta)$-近似离线优化查询接口时，FTPL算法在非凸且 $L$-Lipschitz连续的损失函数下，可实现最优的 $O(T^{-1/2})$ 冗余率。
• 该结果优于此前在相同设定下FTPL的最佳已知冗余率 $O(T^{-1/3})$，从而填补了与理论下界之间的差距。
• 当损失序列可预测时，乐观FTPL（OFTPL）变体可实现更优的冗余边界，通过利用未来损失信息优化决策过程。
• 分析表明，扰动带来的稳定性与有界的近似误差足以确保收敛至最优冗余率。
• 本文证明了连续动作之间差值的 $\ell_1$-范数可通过扰动敏感性与极小化点的单调性特性得到紧密控制。