[论文解读] Acceleration through Optimistic No-Regret Dynamics

Jun-Kun Wang, Jacob Abernethy|arXiv (Cornell University)|Jul 27, 2018

Advanced Bandit Algorithms Research被引用 19

一句话总结

本文通过将凸优化问题形式化为零和博弈（即Fenchel博弈），建立了加速优化与乐观无遗憾学习动态之间的联系。通过在双方玩家上应用乐观在线学习，作者实现了O(1/T²)的收敛速率，该速率恰好恢复了Nesterov的加速方法，并将Nesterov方法、HeavyBall方法和Frank-Wolfe方法统一于同一框架之下。

ABSTRACT

We consider the problem of minimizing a smooth convex function by reducing the optimization to computing the Nash equilibrium of a particular zero-sum convex-concave game. Zero-sum games can be solved using online learning dynamics, where a classical technique involves simulating two no-regret algorithms that play against each other and, after $T$ rounds, the average iterate is guaranteed to solve the original optimization problem with error decaying as $O(\log T/T)$. In this paper we show that the technique can be enhanced to a rate of $O(1/T^2)$ by extending recent work \cite{RS13,SALS15} that leverages extit{optimistic learning} to speed up equilibrium computation. The resulting optimization algorithm derived from this analysis coincides extit{exactly} with the well-known \NA \cite{N83a} method, and indeed the same story allows us to recover several variants of the Nesterov's algorithm via small tweaks. We are also able to establish the accelerated linear rate for a function which is both strongly-convex and smooth. This methodology unifies a number of different iterative optimization methods: we show that the \HB algorithm is precisely the non-optimistic variant of \NA, and recent prior work already established a similar perspective on \FW \cite{AW17,ALLW18}.

研究动机与目标

• 通过在线学习与博弈论动态，为Nesterov的加速梯度法提供统一且直观的解释。
• 通过零和博弈中的乐观学习，将无遗憾动态的收敛速率从O(1/T)提升至O(1/T²)。
• 证明当应用于Fenchel博弈时，Nesterov加速法可自然地从该框架中导出。
• 将该框架扩展至强凸函数，并建立加速线性收敛速率。
• 基于后悔最小化与乐观性，将现有优化方法（如HeavyBall和Frank-Wolfe）统一于同一元算法之下。

提出的方法

• 通过Fenchel共轭将凸优化问题minₓ f(x)形式化为零和博弈，收益函数为g(x,y) = ⟨x,y⟩ − f*(y)。
• 为x和y分别应用两个在线学习算法，使其在无遗憾设定下相互对抗。
• 引入随时间变化的权重αₜ加权后悔，以优化收敛性分析并实现更快的收敛速率。
• 采用乐观学习动态，使每位玩家基于历史梯度预测下一步行动，从而在收敛性上超越标准无遗憾界。
• 将平均迭代序列(x̄ₜ, ȳₜ)视为近似鞍点，其误差由加权后悔之和所界定。
• 证明通过合理选择学习规则与权重，后悔项可衰减至O(1/T²)，从而实现f(x̄ₜ)的O(1/T²)收敛速率。

实验结果

研究问题

• RQ1 乐观在线学习动态是否可通过博弈论约化，在求解凸优化问题时实现O(1/T²)的收敛速率？
• RQ2 Fenchel博弈框架如何使Nesterov加速法从在线学习原理中自然恢复？
• RQ3 在零和博弈中，乐观性在超越标准无遗憾动态的收敛加速中起到何种作用？
• RQ4 该框架是否能解释并统一其他加速方法（如HeavyBall和Frank-Wolfe）？
• RQ5 该框架是否对强凸且光滑的函数也实现加速线性收敛？

主要发现

• 所提出的乐观无遗憾动态在最小化光滑凸函数时实现了O(1/T²)的收敛速率，显著优于标准的O(log T / T)速率。
• 所得算法与Nesterov的加速梯度法完全一致，表明加速性能源于博弈论设定下的乐观学习。
• 该框架将HeavyBall方法作为Nesterov方法的非乐观变体，清晰地建立了这些算法之间的层级关系。
• 该方法将Frank-Wolfe及其他一阶方法统一于同一元框架下，表明它们是同一组基本动态的特例。
• 对于强凸且光滑的函数，该框架实现了加速线性收敛速率，验证了该方法的稳健性。
• 分析表明，即使不依赖强凸性，也能通过乐观动态在光滑性条件下实现O(1/T²)的收敛速率，说明仅凭光滑性即可实现加速。