[论文解读] Follow the Perturbed Leader: Optimism and Fast Parallel Algorithms for Smooth Minimax Games

Arun Sai Suggala, Praneeth Netrapalli|arXiv (Cornell University)|Jun 13, 2020

Advanced Bandit Algorithms Research参考文献 11被引用 4

一句话总结

本文提出了一种新型在线学习算法——乐观跟随扰动领导者（OFTPL），通过在损失函数可预测时引入乐观性，提升了遗憾界，同时保持了最优的最坏情况遗憾。该算法仅使用 $O(T^{1/2})$ 个并行迭代和 $T$ 次预言机调用，即可实现平滑极小极大博弈中 $O(T^{-1/2})$ 的收敛速度，显著优于以往方法的并行可扩展性。

ABSTRACT

We consider the problem of online learning and its application to solving minimax games. For the online learning problem, Follow the Perturbed Leader (FTPL) is a widely studied algorithm which enjoys the optimal $O(T^{1/2})$ worst-case regret guarantee for both convex and nonconvex losses. In this work, we show that when the sequence of loss functions is predictable, a simple modification of FTPL which incorporates optimism can achieve better regret guarantees, while retaining the optimal worst-case regret guarantee for unpredictable sequences. A key challenge in obtaining these tighter regret bounds is the stochasticity and optimism in the algorithm, which requires different analysis techniques than those commonly used in the analysis of FTPL. The key ingredient we utilize in our analysis is the dual view of perturbation as regularization. While our algorithm has several applications, we consider the specific application of minimax games. For solving smooth convex-concave games, our algorithm only requires access to a linear optimization oracle. For Lipschitz and smooth nonconvex-nonconcave games, our algorithm requires access to an optimization oracle which computes the perturbed best response. In both these settings, our algorithm solves the game up to an accuracy of $O(T^{-1/2})$ using $T$ calls to the optimization oracle. An important feature of our algorithm is that it is highly parallelizable and requires only $O(T^{1/2})$ iterations, with each iteration making $O(T^{1/2})$ parallel calls to the optimization oracle.

研究动机与目标

• 为解决跟随扰动领导者（FTPL）在利用可预测损失序列方面的局限性，目前仅能实现最优最坏情况遗憾，而无法在可预测性下获得更紧的遗憾界。
• 开发 FTPL 的一种变体——乐观 FTPL（OFTPL），利用可预测性以获得改进的遗憾保证，同时不牺牲最坏情况下的鲁棒性。
• 设计一种高度可并行化的算法，用于求解平滑凸-凹及非凸-非凹极小极大博弈，并实现快速收敛。
• 通过减少迭代次数并支持并行预言机访问，实现高效的大规模训练，适用于生成对抗网络（GANs）和对抗性训练等应用。

提出的方法

• 提出 OFTPL，即在利用过去信息对未来的损失函数进行乐观预测的基础上，对 FTPL 的改进版本。
• 将扰动视为正则化，从对偶视角分析算法中的随机成分与乐观成分。
• 对于平滑凸-凹博弈，依赖线性优化预言机；对于非凸-非凹博弈，使用扰动最优响应预言机。
• 仅通过 $O(T^{1/2})$ 次迭代，每次并行调用 $O(T^{1/2})$ 次优化预言机，即可实现 $O(T^{-1/2})$ 的收敛速率。
• 通过精心调节正则化参数 $\eta$ 和预言机采样规模 $m$，在分析中平衡遗憾与方差。
• 利用 Fenchel 对偶共轭与强凸性/光滑性性质，通过定理 H.5 和 H.6（关于共轭函数）推导遗憾界。

实验结果

研究问题

• RQ1 在损失函数可预测时，FTPL 中的乐观性是否能改进遗憾界，同时不降低最坏情况下的性能？
• RQ2 如何通过将扰动视为正则化的对偶视角，分析 OFTPL 中的随机与乐观成分？
• RQ3 在在线极小极大博弈求解中，收敛速率、迭代次数与并行化之间的最优权衡是什么？
• RQ4 OFTPL 是否能以远少于以往方法的迭代次数，实现 $O(T^{-1/2})$ 的收敛速度，同时保持预言机效率？
• RQ5 与 FTRL 风格的乐观算法相比，OFTPL 在极小极大博弈中的遗憾保证与计算效率方面表现如何？

主要发现

• OFTPL 在极小极大博弈中为双方均实现了 $O(d^2 D^2 (L+1) \log d + G D \sqrt{\log(8/\delta)}) + O(\min(D^2 L T, \frac{d^2 G^2 \log T}{L} + \frac{d G^2 \log(8/\delta)}{L}))$ 的遗憾界。
• 该算法仅通过 $T$ 次优化预言机调用，即可收敛至 $O(T^{-1/2})$ 精度的解。
• 其仅需 $O(T^{1/2})$ 次迭代，每次迭代包含 $O(T^{1/2})$ 次并行预言机调用，因而具备高度可并行性。
• 分析表明，扰动起到正则化作用，从而在乐观性下实现了更紧的遗憾界。
• 对于平滑凸-凹博弈，仅需线性优化预言机；对于非凸-非凹博弈，扰动最优响应预言机已足够。
• 即使损失不可预测，该方法仍保持标准 FTPL 的 $O(T^{1/2})$ 最坏情况遗憾保证。