[论文解读] Efficient Regret Minimization in Non-Convex Games

Elad Hazan, Karan Singh+1 more|arXiv (Cornell University)|Jul 31, 2017

Advanced Bandit Algorithms Research参考文献 9被引用 20

一句话总结

本文提出了一种计算高效的遗憾概念——局部遗憾（local regret），用于非凸博弈，使基于梯度的算法能够实现最优遗憾界，并保证收敛至平滑化的局部均衡。其核心贡献在于提出了一种在非凸设置下既具有实际意义又可高效实现的博弈论解概念，且可直接应用于通过经验回放进行的 GAN 训练。

ABSTRACT

We consider regret minimization in repeated games with non-convex loss functions. Minimizing the standard notion of regret is computationally intractable. Thus, we define a natural notion of regret which permits efficient optimization and generalizes offline guarantees for convergence to an approximate local optimum. We give gradient-based methods that achieve optimal regret, which in turn guarantee convergence to equilibrium in this framework.

研究动机与目标

• 为解决非凸博弈中标准遗憾最小化的计算不可行性，其中全局优化为 NP-难问题。
• 定义一种新的、计算上可行的遗憾概念——局部遗憾，该概念推广了对收敛至近似局部最优的离线保证。
• 开发在新框架下可实现最优遗憾的高效基于梯度的算法。
• 引入一种新颖的博弈论解概念——平滑化局部均衡，该概念在非凸设置下可高效实现。
• 通过经验回放展示该框架在对抗性训练中的实际效用，特别是针对 GAN。

提出的方法

• 引入局部遗憾作为标准遗憾的替代，定义在过去的损失滑动窗口上，以捕捉局部最优性。
• 提出算法 2，一种带有时间平滑的投影梯度法，以高效最小化局部遗憾。
• 使用大小为 $w$ 的窗口内的时间平滑损失函数，定义为最后 $w$ 个损失函数的平均值。
• 采用正则化梯度预言机 $\nabla_{\mathcal{K},\eta}$ 以确保稳定性和收敛至驻点。
• 将该框架应用于重复非凸博弈，其中玩家使用随机梯度预言机最小化局部遗憾。
• 提出算法 4，一种联合学习过程，维护过去策略的缓冲区，并计算平滑化局部均衡。

实验结果

研究问题

• RQ1 我们能否在非凸博弈中定义一种遗憾概念，以实现高效优化并收敛至局部最优？
• RQ2 我们如何设计基于梯度的算法，使其在该新遗憾定义下实现最优遗憾？
• RQ3 在非凸设置下，通过最小化局部遗憾会涌现出何种博弈论解概念？
• RQ4 该框架能否应用于稳定 GAN 训练，其中损失函数为非凸？
• RQ5 是否存在一种计算上高效的非凸博弈均衡实现方式，以避免纳什均衡的不可行性？

主要发现

• 所提出的局部遗憾最小化框架在平滑化局部均衡下实现了最优遗憾界 $O(\sqrt{\sum_{i=1}^{k}\mathfrak{R}_{w,\mathcal{A}_i}(T)/(T-w)})$。
• 对于给定的窗口大小 $w$，在某一轮 $t \in [w, T]$ 的联合策略构成一个 $\varepsilon$-近似 $(\eta, w)$-平滑化局部均衡，其中 $\varepsilon = \sqrt{\sum_{i=1}^{k}\mathfrak{R}_{w,\mathcal{A}_i}(T)/(T-w)}$。
• 该框架保证收敛至平滑损失梯度范数较小的点，表明其具有局部最优性。
• 该方法适用于 GAN 训练，其中维护过去模型的缓冲区（经验回放）对应于窗口化平滑机制。
• 该方法为非凸博弈提供了一种理论坚实且高效的纳什均衡替代方案，在对抗性训练中具有实际的稳定性优势。
• 该框架可推广至随机和离线设置，在标准光滑性和有界性假设下仍保持收敛保证。