[论文解读] Generalization of GANs under Lipschitz continuity and data augmentation

Khoat Than, Nghia Vu|arXiv (Cornell University)|Apr 6, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 4

一句话总结

本文通过将泛化误差分解为生成器、判别器和优化误差，对 GAN 提供了严格的泛化分析。它利用利普希茨连续性，建立了新颖的统一与非统一泛化边界，解释了为何利普希茨正则化和数据增强能通过惩罚零阶与一阶损失信息来提升 GAN 性能。

ABSTRACT

Generative adversarial networks (GANs) have been being widely used in various applications. Arguably, GANs are really complex, and little has been known about their generalization. In this paper, we make a comprehensive analysis about generalization of GANs. We decompose the generalization error into an explicit composition: generator error + discriminator error + optimization error. The first two errors show the capacity of the player's families, are irreducible and optimizer-independent. We then provide both uniform and non-uniform generalization bounds in different scenarios, thanks to our new bridge between Lipschitz continuity and generalization. Our bounds overcome some major limitations of existing ones. In particular, our bounds show that penalizing the zero- and first-order informations of the GAN loss will improve generalization, answering the long mystery of why imposing a Lipschitz constraint can help GANs perform better in practice. Finally, we show why data augmentation penalizes the zero- and first-order informations of the loss, helping the players generalize better, and hence explaining the highly successful use of data augmentation for GANs.

研究动机与目标

• 为了理解 GAN 的泛化行为，尽管其被广泛使用，但其泛化机制仍不甚明了。
• 将泛化误差分解为不可约成分：生成器误差、判别器误差和优化误差。
• 通过引入利普希茨连续性与泛化之间的新桥梁，克服现有泛化边界分析的局限性。
• 通过理论分析解释为何在 GAN 中采用利普希茨正则化和数据增强在实践中取得成功。
• 为不同训练场景提供适用于统一与非统一泛化边界的理论框架。

提出的方法

• 将 GAN 的泛化误差分解为三个不可约成分：生成器误差、判别器误差和优化误差。
• 提出一种新颖的理论桥梁，连接损失函数的利普希茨连续性与泛化性能。
• 基于此利普希茨框架，推导出统一与非统一泛化边界。
• 分析惩罚 GAN 损失的零阶与一阶信息如何改善泛化性能。
• 证明数据增强通过隐式惩罚相同的损失导数，从而增强泛化能力。
• 运用统计学习理论中的理论工具，形式化模型容量、优化过程与泛化性能之间的关系。

实验结果

研究问题

• RQ1 GAN 的泛化误差能否被形式化地分解为可解释的组成部分？
• RQ2 利普希茨连续性在控制 GAN 泛化性能中扮演何种角色？
• RQ3 为何在判别器上施加利普希茨约束能在实践中提升 GAN 的泛化性能？
• RQ4 数据增强如何促进 GAN 训练中的泛化性能提升？
• RQ5 能否基于利普希茨分析为 GAN 推导出更紧致、更具信息量的泛化边界？

主要发现

• GAN 中的泛化误差本质上由生成器误差、判别器误差和优化误差构成，其中前两者为不可约误差，且与优化器无关。
• 损失函数的利普希茨连续性是控制泛化的关键理论机制，使新型统一与非统一边界成为可能。
• 通过惩罚 GAN 损失的零阶与一阶导数可改善泛化性能，从而解释了权重裁剪与梯度惩罚方法在实践中取得成功的原因。
• 数据增强通过隐式惩罚损失的相同零阶与一阶信息，提升泛化能力，为其实用性提供了理论依据。
• 所提出的边界克服了先前工作的主要局限，更具信息量，并直接将模型架构与训练约束与泛化性能关联起来。
• 分析表明，生成器与判别器家族的容量直接影响不可约泛化误差，且与优化过程无关。