[论文解读] Adversarial Learning with Local Coordinate Coding

Jiezhang Cao, Yong Guo+4 more|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 21

一句话总结

本文提出 LCC-GANs，一种使用局部坐标编码（LCC）从真实数据的潜在流形中采样的生成对抗网络，通过捕捉局部几何结构以提升生成质量。通过利用自编码器学习数据驱动的潜在分布并应用基于 LCC 的采样，该方法在低维输入下实现了强大的泛化能力，在 d=30 时即超越最先进 GAN 模型，且在 d=100 时表现相当或更优。

ABSTRACT

Generative adversarial networks (GANs) aim to generate realistic data from some prior distribution (e.g., Gaussian noises). However, such prior distribution is often independent of real data and thus may lose semantic information (e.g., geometric structure or content in images) of data. In practice, the semantic information might be represented by some latent distribution learned from data, which, however, is hard to be used for sampling in GANs. In this paper, rather than sampling from the pre-defined prior distribution, we propose a Local Coordinate Coding (LCC) based sampling method to improve GANs. We derive a generalization bound for LCC based GANs and prove that a small dimensional input is sufficient to achieve good generalization. Extensive experiments on various real-world datasets demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决标准 GAN 依赖独立预定义先验（如高斯分布）导致语义和几何结构丢失的局限性。
• 开发一种利用潜在空间中局部流形结构的采样方法，以生成更具语义意义和多样性的样本。
• 理论上分析 GAN 的泛化性能与潜在流形固有维度之间的关系。
• 证明在使用基于 LCC 的采样时，小维度潜在空间已足够实现良好泛化。

提出的方法

• 训练自编码器将真实数据嵌入低维潜在流形，以保留语义和几何结构。
• 应用局部坐标编码（LCC）通过一组锚点和自适应权重来表示潜在流形上的点。
• LCC 采样方法通过组合邻近锚点及其学习到的系数生成新的潜在码，实现在局部区域内的结构感知采样。
• 利用 Rademacher 复杂度推导泛化界，将判别器误差与潜在流形的固有维度关联起来。
• 使用 LCC 采样得到的潜在向量对抗性训练生成器，提升数据保真度和多样性。
• 在 MNIST、Oxford-102、LSUN 和 CelebA 上通过 MS-SSIM 和视觉质量对比评估该方法。

实验结果

研究问题

• RQ1 与标准高斯先验相比，基于 LCC 的采样是否能通过数据驱动的潜在流形提升 GAN 生成图像的质量和多样性？
• RQ2 潜在流形的固有维度与 GAN 泛化性能之间存在何种关系？
• RQ3 当使用 LCC 采样时，低维潜在空间（如 d=30）是否能实现优于或等同于高维空间（如 d=100）的性能？
• RQ4 在保留生成样本的局部结构和语义内容方面，LCC 采样与标准采样相比表现如何？
• RQ5 所提方法是否能在不记忆训练样本的情况下良好泛化至未见数据？

主要发现

• 在所有数据集上，d=30 的 LCC-GANs 在图像质量和多样性方面均优于 d=100 的 Progressive GANs，MS-SSIM 测量结果表明其性能更优。
• 在 CelebA 数据集上，LCC-GANs 在 d=30 时达到 MS-SSIM 0.305，优于 d=100 的 Progressive GANs（0.308）和 WGANs（0.324）。
• 该方法在 MNIST 上即使使用固定锚点集，也能生成具有不同方向和风格的清晰、多样化的数字。
• 视觉对比显示，生成图像与训练集中的真实图像在语义上相似，表明其具备泛化能力而非记忆训练样本。
• 理论分析证明，小维度输入已足够实现良好泛化，性能由潜在流形的固有维度决定。
• LCC 采样可一致生成共享特征（如相似花形或面部结构）但颜色或风格各异的图像，证实了对局部结构的有效利用。