[论文解读] NEMGAN: Noise Engineered Mode-matching GAN

Deepak Mishra, Prathosh AP+3 more|arXiv (Cornell University)|Nov 8, 2018

Speech and Audio Processing被引用 1

一句话总结

NEMGAN 提出了一种噪声工程化的潜在空间分布，通过在最小监督下学习模态先验，实现了对 GAN 中模式发现与分离的精确控制。通过联合训练潜在空间反演网络与散度损失，其在多个真实世界数据集上实现了模式分离、条件生成和属性发现方面的最先进性能，且参数开销可忽略不计。

ABSTRACT

Generative adversarial networks (GANs) have shown remarkable success in generation of unstructured data, such as, natural images. However, discovery and separation of modes in the generated space, essential for several tasks beyond naive data generation, is still a challenge. In this paper, we address the problem of imposing desired modal properties on the generated space using a latent distribution, engineered in accordance with the modal properties of the true data distribution. This is achieved by training a latent space inversion network in tandem with the generative network using a divergence loss. The latent space is made to follow a continuous multimodal distribution generated by reparameterization of a pair of continuous and discrete random variables. In addition, the modal priors of the latent distribution are learned to match with the true data distribution using minimal-supervision with negligible increment in number of learnable parameters. We validate our method on multiple tasks such as mode separation, conditional generation, and attribute discovery on multiple real world image datasets and demonstrate its efficacy over other state-of-the-art methods.

研究动机与目标

• 为解决 GAN 生成数据空间中模式发现与分离的挑战，这对超越简单数据生成的任务至关重要。
• 通过工程化潜在空间分布以匹配真实数据分布的模态特性，实现对生成样本模态结构的控制。
• 在最小监督下学习潜在空间中的模态先验，同时最小化模型参数的增加。
• 通过潜在空间中更好的模式对齐，提升下游任务（如条件生成和属性发现）的性能。

提出的方法

• 通过使用散度损失，与生成器联合训练潜在空间反演网络，以对齐潜在空间与真实数据分布的模态结构。
• 通过一对连续和离散的随机变量对潜在空间进行重参数化，形成连续多模态分布。
• 通过最小监督学习模态先验，确保与真实数据分布的模态特性保持一致。
• 该方法使用重参数化技巧，以支持多模态潜在分布的可微训练。
• 散度损失确保生成分布与真实数据分布的模态结构一致。
• 该方法在保持可学习参数数量几乎不变的同时，实现了精确的模式控制。

实验结果

研究问题

• RQ1 能否通过潜在空间工程，训练 GAN 显式分离并控制生成空间中的不同数据模式？
• RQ2 在最小监督下，潜在空间中模态先验的学习效率如何，能否准确匹配真实数据分布的模态结构？
• RQ3 与最先进 GAN 相比，该方法在模式分离与属性发现方面有多大的性能提升？
• RQ4 该方法能否在多样化的现实世界图像数据集上泛化，同时保持低参数开销？

主要发现

• NEMGAN 在多个真实世界图像数据集上实现了模式分离的最先进性能。
• 通过显式控制潜在空间中的模态结构，该方法实现了高效的条件生成。
• 由于潜在空间中显式建模了模态先验，属性发现性能显著提升。
• 该模型在可忽略的可学习参数增加下实现上述结果，保持了高效性。
• 通过散度损失联合训练潜在空间反演网络与生成器，使生成分布与真实数据分布的对齐效果更优。
• 该方法在包括具有复杂和重叠模式的多样化图像数据集上表现出鲁棒性与泛化能力。