[论文解读] Loss-Sensitive Generative Adversarial Networks on Lipschitz Densities

Guo-Jun Qi|arXiv (Cornell University)|Jan 23, 2017

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 140

一句话总结

引入了带 Lipschitz 正则化数据密度的 Loss-Sensitive GAN (LS-GAN)，证明了分布一致性与泛化性，并扩展到 Generalized LS-GAN (GLS-GAN) 和 Conditional LS-GAN (CLS-GAN)。

ABSTRACT

In this paper, we present the Lipschitz regularization theory and algorithms for a novel Loss-Sensitive Generative Adversarial Network (LS-GAN). Specifically, it trains a loss function to distinguish between real and fake samples by designated margins, while learning a generator alternately to produce realistic samples by minimizing their losses. The LS-GAN further regularizes its loss function with a Lipschitz regularity condition on the density of real data, yielding a regularized model that can better generalize to produce new data from a reasonable number of training examples than the classic GAN. We will further present a Generalized LS-GAN (GLS-GAN) and show it contains a large family of regularized GAN models, including both LS-GAN and Wasserstein GAN, as its special cases. Compared with the other GAN models, we will conduct experiments to show both LS-GAN and GLS-GAN exhibit competitive ability in generating new images in terms of the Minimum Reconstruction Error (MRE) assessed on a separate test set. We further extend the LS-GAN to a conditional form for supervised and semi-supervised learning problems, and demonstrate its outstanding performance on image classification tasks.

研究动机与目标

• 通过对数据密度施加 Lipschitz 条件来正则化 GAN 以提升泛化能力的动机。
• 学习一个损失函数，使真实样本的排序在带边距的情况下低于生成样本。
• 设计一个交替进行损失函数学习和生成器优化以达到均衡的训练目标。
• 证明随着正则化参数增大，LS-GAN 收敛到真实数据密度。
• 将该框架扩展到广义和条件形式以实现更广泛的适用性。

提出的方法

• 定义一个损失函数 L_theta 和一个带边距约束的生成器 G_phi：L_theta(x) <= L_theta(G_phi(z)) - Delta(x, G_phi(z)).
• 用非负松弛 xi 放宽约束并共同优化：min_theta,xi E_{x~P_data}[L_theta(x)] + lambda E_{x,z}[xi_x,z] subject to L_theta(x) - xi_x,z <= L_theta(G_phi(z)) - Delta(x,G_phi(z)).
• 将 LS-GAN 目标定义为 S(theta, phi) = E_{x~P_data}[L_theta(x)] + lambda E_{x,z}[(Delta(x,G_phi(z)) + L_theta(x) - L_theta(G_phi(z)))_+].
• 定义辅助目标 T(theta, phi) = E_{z~P_z}[L_theta(G_phi(z))] 以优化生成器。
• 证明分布一致性：当 lambda -> infinity 时，在 Lipschitz 数据密度假设下，P_G* 收敛到 P_data (假设1)。
• 引入 Generalized LS-GAN (GLS-GAN)，其代价函数 C(a) 满足 C(a) >= a 且 C(a)=a 当 a>=0；证明 LS-GAN 与 WGAN 是 GLS-GAN 的特殊情况。

实验结果

研究问题

• RQ1 LS-GAN 在 Lipschitz 正则化数据密度下，生成的数据密度是否与真实数据密度匹配？
• RQ2 在泛化性和样本质量方面，LS-GAN 相对于 Wasserstein GAN 和其他正则化 GAN 的表现如何？
• RQ3 LS-GAN 是否可扩展为广义（GLS-GAN）和条件（CLS-GAN）形式以用于监督/半监督任务？
• RQ4 在 Lipschitz 假设下，LS-GAN 的一般化界与样本复杂度是多少？
• RQ5 通过梯度惩罚来界定 Lipschitz 常数是否能提升训练稳定性与泛化性？

主要发现

• 在 Lipschitz 密度正则性下，LS-GAN 生成的样本密度在 lambda 增大时趋近于真实数据密度。
• 存在一个带 Lipschitz 损失与生成密度的纳什均衡，确保分布一致性（定理 1）。
• 给出一般化界：有限样本 S_m 和 T_k 收敛到其本征对等物，且对模型规模和 Lipschitz 常数具有多项式依赖性（定理 2 与 3）。
• GLS-GAN 将 LS-GAN 与 WGAN 作为特殊情况，提供通过不同成本函数 (C a) 得到的一族正则化 GAN。
• 提出梯度惩罚以界定 Lipschitz 常数，降低样本复杂度并提升稳定性（第 5.2 节）。
• CLS-GAN 在图像分类任务上展现出竞争性表现，体现监督/半监督扩展（第 8 节）。