[论文解读] GANGs: Generative Adversarial Network Games

Frans A. Oliehoek, Rahul Savani+4 more|arXiv (Cornell University)|Dec 2, 2017

Reinforcement Learning in Robotics参考文献 31被引用 18

一句话总结

本文提出了生成对抗网络博弈（GANGs），一种将 GAN 建模为生成器与分类器之间使用混合策略的有限零和博弈的框架。它提出了资源受限纳什均衡（RB-NE），以处理计算上不可行的最佳响应问题，并通过并行纳什记忆（PNM）算法证明了向 RB-NE 收敛的可证明性和单调性，从而有效缓解了 GAN 中的模式崩溃、部分模式覆盖和遗忘问题。

ABSTRACT

Generative Adversarial Networks (GAN) have become one of the most successful frameworks for unsupervised generative modeling. As GANs are difficult to train much research has focused on this. However, very little of this research has directly exploited game-theoretic techniques. We introduce Generative Adversarial Network Games (GANGs), which explicitly model a finite zero-sum game between a generator ($G$) and classifier ($C$) that use mixed strategies. The size of these games precludes exact solution methods, therefore we define resource-bounded best responses (RBBRs), and a resource-bounded Nash Equilibrium (RB-NE) as a pair of mixed strategies such that neither $G$ or $C$ can find a better RBBR. The RB-NE solution concept is richer than the notion of `local Nash equilibria' in that it captures not only failures of escaping local optima of gradient descent, but applies to any approximate best response computations, including methods with random restarts. To validate our approach, we solve GANGs with the Parallel Nash Memory algorithm, which provably monotonically converges to an RB-NE. We compare our results to standard GAN setups, and demonstrate that our method deals well with typical GAN problems such as mode collapse, partial mode coverage and forgetting.

研究动机与目标

• 通过将 GAN 建模为有限零和博弈，解决 GAN 训练中持续存在的问题，如模式崩溃、部分模式覆盖和遗忘。
• 提出一种解概念——资源受限纳什均衡（RB-NE），以捕捉近似最佳响应计算中的有界理性。
• 提供基于博弈论算法的 GAN 训练可证明收敛保证，且独立于特定神经网络架构。
• 在有限博弈论框架内统一并重新诠释现有 GAN 目标（例如，WGAN、Goodfellow 的启发式方法）。
• 通过将架构与求解方法解耦，为未来生成器和分类器网络的改进提供支持。

提出的方法

• 将 GAN 形式化为在正常形式下的有限零和博弈，其中生成器和分类器作为玩家，基于神经网络参数化使用混合策略。
• 提出资源受限最佳响应（RBBR），作为在计算资源受限条件下的近似最佳响应，基于可用资源定义可行策略集。
• 将资源受限纳什均衡（RB-NE）定义为一对混合策略，使得任一玩家均无法通过任何 RBBR 实现改进，从而推广至梯度基局部最优之外的范围。
• 采用并行纳什记忆（PNM）算法，通过维护和更新纯策略组合的记忆，可证明且单调地收敛至 RB-NE。
• 采用基于记忆的方法，迭代优化策略，即使在精确最佳响应不可行时也能实现收敛。
• 在高斯混合分布上对 PNM 进行实验评估，以衡量其在模式覆盖和稳定性方面的表现。

实验结果

研究问题

• RQ1 GAN 的博弈论公式能否通过确保混合策略下的全局收敛，解决模式崩溃和遗忘等问题？
• RQ2 如何在 GAN 训练中形式化有界理性，以捕捉超越梯度下降的近似最佳响应？
• RQ3 RB-NE 概念是否在基于深度学习的 GAN 中提供了比局部纳什均衡更稳健的均衡概念？
• RQ4 可证明收敛的算法（如 PNM）能否应用于 GAN，以确保向稳定解的单调改进？
• RQ5 现有 GAN 目标（如 WGAN、Goodfellow 的启发式方法）如何映射到所提出的有限博弈论框架中？

主要发现

• RB-NE 概念成功捕捉了比局部纳什均衡更广泛的均衡类别，包括由于近似最佳响应计算失败或随机重启导致的失效情况。
• PNM 算法可证明且单调地收敛至 RB-NE，为 GAN 训练稳定性提供了强有力的理论保证。
• 实验结果表明，PNM 有效缓解了模式崩溃和部分模式覆盖问题，尤其在非对称或复杂模式分布中表现突出。
• 该方法对遗忘表现出强健性，即使生成器输出发生改变，先前学习到的分类器行为也能被保留。
• 该框架与架构无关，可直接集成未来生成器和分类器网络的改进，而无需重新设计训练机制。
• 理论分析表明，若玩家可计算 ε-最佳响应，则 PNM 过程将收敛至 ε-NE，从而扩展了收敛保证的适用范围。