[论文解读] Approximation and convergence of GANs training: an SDE approach.

Haoyang Cao, Xin Guo|arXiv (Cornell University)|Jun 3, 2020

Model Reduction and Neural Networks参考文献 30被引用 9

一句话总结

本文提出了一种随机微分方程（SDE）框架，用于近似和分析在随机梯度算法下生成对抗网络（GANs）的训练动态。通过将生成器和判别器的更新建模为耦合的SDE，该研究建立了精确的误差界，并推导出收敛条件，揭示了波动-耗散权衡，为最优学习率调度提供了依据。

ABSTRACT

Generative adversarial networks (GANs) have enjoyed tremendous empirical successes, and research interest in the theoretical understanding of GANs training process is rapidly growing, especially for its evolution and convergence analysis. This paper establishes approximations, with precise error bound analysis, for the training of GANs under stochastic gradient algorithms (SGAs). The approximations are in the form of coupled stochastic differential equations (SDEs). The analysis of the SDEs and the associated invariant measures yields conditions for the convergence of GANs training. Further analysis of the invariant measure for the coupled SDEs gives rise to a fluctuation-dissipation relations (FDRs) for GANs, revealing the trade-off of the loss landscape between the generator and the discriminator and providing guidance for learning rate scheduling.

研究动机与目标

• 使用随机微分方程（SDE）对随机梯度算法下的GAN训练动态进行严格近似。
• 通过研究所提出的耦合SDE的不变测度，分析GAN的收敛性。
• 从不变测度推导出波动-耗散关系（FDR），以表征生成器与判别器损失景观之间的权衡。
• 基于FDR，为GAN训练中的自适应学习率调度提供理论指导。

提出的方法

• 将GAN的训练过程建模为一组耦合的随机微分方程（SDE），以近似离散时间的随机梯度更新。
• 通过扩散极限分析，建立离散SGA更新与连续SDE近似之间的精确误差界。
• 通过分析耦合SDE的不变测度，刻画训练过程的长期行为与收敛性。
• 从不变测度推导出波动-耗散关系（FDR），量化生成器与判别器损失之间的权衡。
• 利用FDR指导学习率调度策略，以平衡生成器与判别器的训练动态。
• 提供SDE近似收敛至稳定平衡点的理论条件，确保训练稳定性。

实验结果

研究问题

• RQ1 如何利用具有可量化误差界的连续时间随机微分方程（SDE）来近似随机梯度算法下的GAN训练动态？
• RQ2 基于耦合SDE系统的不变测度，何种条件可确保GAN训练的收敛性？
• RQ3 波动-耗散关系（FDR）揭示的生成器与判别器损失景观之间的权衡本质是什么？
• RQ4 如何利用推导出的FDR设计有效的GAN训练学习率调度策略？

主要发现

• 本文建立了在随机梯度算法下GAN训练的精确SDE近似，明确给出了离散更新与连续SDE动态之间的误差界。
• GAN训练的收敛性由耦合SDE系统的不变测度的存在性与性质所刻画，为稳定训练提供了理论条件。
• 从不变测度推导出波动-耗散关系（FDR），揭示了损失景观中生成器与判别器损失之间的根本性权衡。
• FDR为学习率调度提供了理论基础，表明最优学习率应平衡训练动态中的波动项与耗散项。
• SDE框架使对GAN训练稳定性和收敛性的理解更加深入，提供了一种超越经验观察的新分析视角。
• 分析表明，SDE近似能够准确捕捉GAN训练的长期行为，支持其作为进一步研究的理论工具。