[论文解读] Analysis of Nonautonomous Adversarial Systems

Arash Mehrjou|arXiv (Cornell University)|Mar 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 2被引用 3

一句话总结

本文通过一个极简的'tiny-GAN'模型，分析了非自治生成对抗网络（GAN）的动力学特性，表明随时间变化的数据分布退火可抑制生成器和判别器参数的持续振荡，从而稳定训练。主要贡献在于理论与仿真结果证明：更长的退火时间可减小振荡幅度，促使模型收敛至期望的数据分布。

ABSTRACT

Generative adversarial networks are used to generate images but still their convergence properties are not well understood. There have been a few studies who intended to investigate the stability properties of GANs as a dynamical system. This short writing can be seen in that direction. Among the proposed methods for stabilizing training of GANs, ß-GAN was the first who proposed a complete annealing strategy to change high-level conditions of the GAN objective. In this note, we show by a simple example how annealing strategy works in GANs. The theoretical analysis is supported by simple simulations.

研究动机与目标

• 理解在时变数据分布下，GAN作为动力系统的收敛性与稳定性特性。
• 研究在β-GAN中，退火策略如何提升非自治GAN的训练稳定性。
• 将训练过程建模为具有时变参数的连续动力系统，以分析振荡行为。
• 提供理论与仿真证据，证明更长的退火时间可减小生成器与判别器中的持续振荡。

提出的方法

• 构建一个极简的非自治GAN模型（'tiny-GAN'），包含由α参数化的单点数据分布、位于θ的单点生成器，以及位于ψ的线性判别器。
• 引入随时间变化的数据分布α(t)，其通过退火过程演化：α(t) = α₀ + (αᵣ − α₀)(1 − e⁻ᵗᐟᵀ)，其中αᵣ为目标真实数据分布。
• 将GAN训练建模为具有三个状态（θ：生成器，ψ：判别器，α：数据分布）的连续动力系统，其由一组常微分方程（ODE）控制。
• 对ODE系统应用拉普拉斯变换，以解析推导ψ(t)与θ(t)的时域行为，实现对振荡的闭式分析。
• 推导出ψ(t)中持续振荡的振幅为𝒜 = K / (1 + a²) × √(1 + a²)，其中K ∝ 1/T且a = 1/T，表明振幅随T增大而减小。
• 利用反拉普拉斯变换将ψ(t)表示为正弦与衰减指数项之和，其中正弦分量导致持续振荡。

实验结果

研究问题

• RQ1 在连续时间框架下，GAN中对数据分布的退火如何影响训练动力学的稳定性？
• RQ2 在时变数据分布下，生成器与判别器参数的解析行为是什么？
• RQ3 为何β-GAN的退火策略相比标准GAN能减少振荡？
• RQ4 退火时间T如何影响判别器参数中持续振荡的振幅？
• RQ5 非自治GAN的动力学能否通过具有可解解析解的线性化连续动力系统进行建模与分析？

主要发现

• 判别器参数ψ(t)中持续振荡的振幅与K / (1 + a²) × √(1 + a²)成正比，其中K ∝ (αᵣ − α₀)/T且a = 1/T。
• 随着退火时间T的增加，振荡振幅减小，在T → ∞的极限下趋近于零，表明稳定性得到改善。
• 生成器参数θ(t)收敛至围绕真实数据分布αᵣ的稳态振荡，其振幅由ψ₁(τ)的时间积分决定。
• 解析解表明，ψ(t)中的振荡分量为频率为1 rad/s的正弦波，其振幅与T成反比。
• θ(t)的稳态行为为θ(t) → αᵣ + Ψ₁(t)，其中Ψ₁(t)为振荡分量ψ₁(τ)的正弦积分，证实了在目标分布周围的持续振荡。
• 理论分析证实，更长的退火时间可抑制振荡，为β-GAN的实证成功提供了动力学解释。