[论文解读] Learning Generative Models across Incomparable Spaces

Charlotte Bunne, David Alvarez-Melis+2 more|arXiv (Cornell University)|May 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 54被引用 25

一句话总结

本文提出 GwGAN，一种生成对抗模型，通过使用 Gromov-Wasserstein（GW）距离来比较关系结构而非绝对位置，从而在不可比较的空间（如不同维度或数据类型）之间学习分布。该方法实现了拓扑与风格的解耦学习，适用于流形学习、跨域生成和风格迁移，并将标准 GAN 视为一种特殊情况。

ABSTRACT

Generative Adversarial Networks have shown remarkable success in learning a distribution that faithfully recovers a reference distribution in its entirety. However, in some cases, we may want to only learn some aspects (e.g., cluster or manifold structure), while modifying others (e.g., style, orientation or dimension). In this work, we propose an approach to learn generative models across such incomparable spaces, and demonstrate how to steer the learned distribution towards target properties. A key component of our model is the Gromov-Wasserstein distance, a notion of discrepancy that compares distributions relationally rather than absolutely. While this framework subsumes current generative models in identically reproducing distributions, its inherent flexibility allows application to tasks in manifold learning, relational learning and cross-domain learning.

研究动机与目标

• 解决现有 GAN 仅在数据空间相同或可比较时才能学习分布的局限性。
• 实现跨不可比较空间（如不同维度或数据类型，例如图到欧几里得空间）的生成建模。
• 在允许对风格或维度等表面特征进行修改的同时，保留参考分布的拓扑与关系结构。
• 在 GAN 框架中使用 GW 距离作为损失函数，构建稳健且可微的训练框架。
• 通过正则化或对抗训练实现对生成样本的可控操作，尤其适用于风格迁移。

提出的方法

• 提出一种 GAN 框架 GwGAN，使用 Gromov-Wasserstein 距离作为参考分布与生成分布之间的差异度量。
• 采用可学习的判别器以高效近似 GW 距离，实现生成器的反向传播。
• 引入基于正交 Procrustes 的正则化方法，约束判别器并稳定训练，确保有意义的关系比较。
• 以空间内成对距离（如欧几里得距离或最短路径）为基础，比较不同度量空间中的分布。
• 通过专用正则化或对抗训练实现拓扑结构与表面属性（如风格或方向）的解耦。
• 当生成器与数据空间相同且同构时，GwGAN 退化为标准 GAN，即为标准 GAN 的特例。

实验结果

研究问题

• RQ1 生成模型能否在不可比较空间（如不同维度或数据类型）之间学习分布，而无需对齐或可比较的支撑集？
• RQ2 如何在 GAN 框架中有效且稳定地使用 Gromov-Wasserstein 距离作为端到端可微的训练目标？
• RQ3 该模型能否在保留参考分布拓扑结构的同时，独立控制风格属性（如粗细或方向）？
• RQ4 如何约束生成器的额外灵活性，以避免退化解，同时保持其表达能力？
• RQ5 该模型在流形学习、关系学习和跨域生成中的实际应用有哪些？

主要发现

• GwGAN 模型成功在不可比较空间（如从加权图到 28×28 图像空间）中学习并生成样本，同时保留了底层聚类结构。
• 通过引入风格判别器或正则化，模型可实现可控风格迁移，例如调整 MNIST 数字的粗细。
• 所提出的正交 Procrustes 正则化显著稳定了训练过程并提升了性能，表明其在更广泛场景中具有适用潜力。
• Gromov-Wasserstein 距离即使在缺乏跨域距离的情况下也能实现有效训练，适用于异质数据模态。
• 该框架推广了标准 GAN，当生成器与数据空间相同且同构时，GwGAN 退化为标准 GAN。
• 实验表明，该模型可实现保留概率结构的降维，其在保持概率结构方面优于经典流形学习方法。