[论文解读] Learning disconnected manifolds: a no GANs land

Ugo Tanielian, Thibaut Issenhuth+2 more|arXiv (Cornell University)|Jun 8, 2020

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 10

一句话总结

本文通过证明一个‘无免费午餐’定理，形式化了生成对抗网络（GAN）在学习不连通流形时的固有局限性，该定理表明由于模式之间不可避免的低质量采样区域，精度存在理论上限。本文提出一种基于生成器雅可比范数的拒绝采样方法，以过滤掉不位于流形上的样本，显著提升了精度，且无需对网络架构进行过参数化，已在BigGAN及其他模型上得到验证。

ABSTRACT

Typical architectures of Generative AdversarialNetworks make use of a unimodal latent distribution transformed by a continuous generator. Consequently, the modeled distribution always has connected support which is cumbersome when learning a disconnected set of manifolds. We formalize this problem by establishing a no free lunch theorem for the disconnected manifold learning stating an upper bound on the precision of the targeted distribution. This is done by building on the necessary existence of a low-quality region where the generator continuously samples data between two disconnected modes. Finally, we derive a rejection sampling method based on the norm of generators Jacobian and show its efficiency on several generators including BigGAN.

研究动机与目标

• 形式化标准GAN在学习不连通流形时的根本困难，原因在于从单峰潜在空间进行连续变换。
• 在标准GAN训练下，建立建模不连通流形时GAN精度的理论上限，证明一个不可能性结果。
• 开发一种实用且高效的拒绝采样方法，通过利用生成器的雅可比范数过滤掉不位于流形上的样本，从而提升采样质量。
• 在如BigGAN等最先进模型上验证该方法，并表明其在高维设置下优于现有的截断技术。

提出的方法

• 通过证明任何连续生成器都必须在不连通模式之间产生低质量区域，推导出GAN在学习不连通流形时的理论不可能性结果。
• 提出一种基于生成器雅可比矩阵Frobenius范数的拒绝采样方案，用于识别并过滤在高梯度、低流形区域生成的样本。
• 将雅可比范数用作局部生成器失真的代理指标，其中高范数表示模式之间采样不可靠的区域。
• 在玩具数据集和最先进GAN（如BigGAN）上进行实证验证，表明该方法在不修改生成器或潜在分布的情况下显著提升了采样质量。
• 将所提方法与Brock等人（2019）提出的截断技巧进行比较，证明在高维设置下性能更优。
• 正式建立了Precision-Recall（PR）与改进版PR指标之间的联系，从而实现对方法有效性的统一评估。

实验结果

研究问题

• RQ1 能否为学习不连通流形的GAN精度建立一个理论上限？
• RQ2 为何标准GAN在建模不连通数据流形时不可避免地会产生不位于流形上的样本？
• RQ3 能否将生成器的雅可比范数用作可靠标准，以拒绝低质量、不位于流形上的样本？
• RQ4 基于雅可比矩阵的拒绝采样方法是否能在不进行架构过参数化的情况下提升GAN精度？
• RQ5 在高维、复杂的生成任务中，该方法与现有截断策略相比表现如何？

主要发现

• 本文证明了不连通流形学习的‘无免费午餐’定理，表明由于连续变换的拓扑约束，GAN无法实现任意高的精度。
• 不位于流形上的采样区域体积随目标流形数量的增加而增大，导致在多模式场景下精度的理论上限趋近于零。
• 所提出的基于雅可比矩阵的拒绝采样方法能有效过滤不位于流形上的样本，在玩具数据集和BigGAN上均显著提升了精度。
• 实证结果表明，该方法在高维设置下优于标准截断技巧，尤其在保持多样性和保真度方面表现更优。
• 该方法具有通用性，无需修改生成器架构或潜在分布，因此可直接应用于现有GAN。
• 作者正式建立了PR与改进版PR指标之间的联系，使得在不连通数据上对GAN性能的评估更加一致。