[论文解读] Adversarial Lipschitz Regularization

Dávid Terjék|Repository of the Academy's Library (Library of the Hungarian Academy of Sciences)|Jul 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 21

一句话总结

该论文提出对抗式利普希茨正则化（Adversarial Lipschitz Regularization, ALR），一种通过幂迭代生成对抗扰动来显式惩罚神经网络中利普希茨约束违反的新方法，从而实现Wasserstein GAN的稳定训练。ALR在CIFAR-10上实现了SOTA的Inception Score，在CelebA-HQ的高维设置下也表现出色，FID表现具有竞争力，优于批量归一化判别器架构中的梯度惩罚方法。

ABSTRACT

Generative adversarial networks (GANs) are one of the most popular approaches when it comes to training generative models, among which variants of Wasserstein GANs are considered superior to the standard GAN formulation in terms of learning stability and sample quality. However, Wasserstein GANs require the critic to be 1-Lipschitz, which is often enforced implicitly by penalizing the norm of its gradient, or by globally restricting its Lipschitz constant via weight normalization techniques. Training with a regularization term penalizing the violation of the Lipschitz constraint explicitly, instead of through the norm of the gradient, was found to be practically infeasible in most situations. Inspired by Virtual Adversarial Training, we propose a method called Adversarial Lipschitz Regularization, and show that using an explicit Lipschitz penalty is indeed viable and leads to competitive performance when applied to Wasserstein GANs, highlighting an important connection between Lipschitz regularization and adversarial training.

研究动机与目标

• 通过在判别器网络中强制实施严格的利普希茨连续性，解决GAN训练中的不稳定性和模式崩溃问题。
• 通过显式正则化利普希茨违反行为，为隐式梯度范数惩罚（如梯度惩罚）提供可行的替代方案。
• 探索对抗训练与利普希茨正则化之间的联系，受虚拟对抗训练（Virtual Adversarial Training, VAT）的启发。
• 评估显式利普希茨正则化在低维与高维生成建模设置下的有效性。

提出的方法

• ALR使用幂迭代在每个输入点 $ x $ 处计算对抗方向 $ r_{\text{adv}} $，以近似判别器输出变化最陡的方向。
• 通过迭代幂迭代估计方向导数，计算 $ r_{\text{adv}} = \arg\max_{\|r\|_2=1} \left| f(x + r) - f(x) \right| $。
• 应用显式利普希茨惩罚项 $ \lambda \cdot \mathbb{E}_{x} \left( \left| \frac{f(x) - f(x + r_{\text{adv}})}{\|r_{\text{adv}}\|_2} - 1 \right|^2 \right) $，惩罚偏离单位斜率的偏差。
• 将惩罚项整合进WGAN目标，形成WGAN-ALP，直接强制实现1-Lipschitz连续性，而非依赖梯度范数约束。
• 在高维设置中，方法将惩罚调整为同时包含违反项的绝对值与平方项，以提升稳定性。
• 该方法在CIFAR-10和CelebA-HQ上进行了验证，与标准梯度惩罚和基线WGAN进行比较。

实验结果

研究问题

• RQ1 通过对抗扰动显式正则化利普希茨违反行为，能否实现稳定且高质量的GAN训练？
• RQ2 在标准基准上，ALR在Inception Score和Fréchet Inception Distance方面与梯度惩罚相比表现如何？
• RQ3 当判别器中使用批量归一化时，ALR是否仍能保持性能？（已知梯度惩罚在此类架构中会失效。）
• RQ4 ALR能否在CelebA-HQ上的高维图像生成任务（如Progressive Growing GAN）中有效应用？
• RQ5 对抗训练与利普希茨正则化之间存在何种关系？该关系能否被利用以提升模型泛化能力？

主要发现

• 在非渐进式生成方法中，WGAN-ALP在CIFAR-10上实现了SOTA的Inception Score 9.41，优于基线WGAN和WGAN-GP。
• 在CelebA-HQ数据集上，ALP的Fréchet Inception Distance（FID）为14.65，而原始基于GP的Progressive GAN为8.69，表明其性能强劲，尽管在此情况下未超越GP。
• 在WGAN-BN设置中，梯度惩罚表现不佳（最佳Inception Score为6.29），而ALP将分数显著提升至8.71，证明其对批量归一化的鲁棒性。
• 该方法在CIFAR-10和CelebA-HQ上均成功生成了高质量样本，视觉质量与SOTA模型相当。
• 在批量归一化层存在的情况下，ALR比竞争方法更有效，表明其在实际架构中具有关键优势。
• 公式（19）的双侧惩罚形式比单侧版本更不稳定，表明在实践中单侧正则化更为可靠。