[论文解读] Multi-marginal Wasserstein GAN

Jiezhang Cao, Langyuan Mo+4 more|arXiv (Cornell University)|Nov 3, 2019

Multimodal Machine Learning Applications被引用 35

一句话总结

MWGAN 引入一个多边际 Wasserstein-GAN 框架，联合最小化源域与多个目标域之间的 Wasserstein 距离，利用共享的判别潜在能力和跨域约束实现更好的多域图像翻译。

ABSTRACT

Multiple marginal matching problem aims at learning mappings to match a source domain to multiple target domains and it has attracted great attention in many applications, such as multi-domain image translation. However, addressing this problem has two critical challenges: (i) Measuring the multi-marginal distance among different domains is very intractable; (ii) It is very difficult to exploit cross-domain correlations to match the target domain distributions. In this paper, we propose a novel Multi-marginal Wasserstein GAN (MWGAN) to minimize Wasserstein distance among domains. Specifically, with the help of multi-marginal optimal transport theory, we develop a new adversarial objective function with inner- and inter-domain constraints to exploit cross-domain correlations. Moreover, we theoretically analyze the generalization performance of MWGAN, and empirically evaluate it on the balanced and imbalanced translation tasks. Extensive experiments on toy and real-world datasets demonstrate the effectiveness of MWGAN.

研究动机与目标

• 解决将源域映射到多个目标域的多边际匹配问题。
• 克服成对/按域翻译方法的低效性与分布不匹配问题。
• 通过共享判别潜在能力和多域 OT 理论来利用跨域相关性。
• 提供一个对偶形式使优化可行并实现基于 GAN 的学习。
• 分析多域翻译的泛化性能并在 toy 数据集与真实数据集上进行验证。

提出的方法

• 使用一个具备内域与跨域约束的对偶多边际 OT 问题来将 MWGAN 公式化。
• 采用跨域共享的 Kantorovich 潜在 f 以实现可控的优化。
• 用域特定权重 λ_i 对 f 进行最大化来定义多边际 Wasserstein 距离 W。
• 训练判别器 f 与多个生成器 g_i 以优化 MWGAN 目标。
• 引入辅助域分类器 φ 与互信息项以强制内域约束。
• 引入跨域梯度惩罚以放宽对跨域约束的严格执行并捕捉跨域相关性。

实验结果

研究问题

• RQ1 如何在源域与多个目标域之间测量和优化多边际 Wasserstein 距离？
• RQ2 一个共享的势函数是否能够有效利用跨域相关性来提升多域翻译？
• RQ3 MWGAN 在多域翻译设置下的泛化行为是什么？
• RQ4 内域约束与跨域约束如何影响不平衡域对之间的翻译质量？

主要发现

方法	Hair FID	Hair Accuracy	Eyeglasses FID	Eyeglasses Accuracy	Mustache FID	Mustache Accuracy	Pale skin FID	Pale skin Accuracy
CycleGAN	20.45	95.07	23.69	96.94	24.94	93.89	18.09	80.75
UFDN	65.06	92.01	69.30	79.34	76.04	97.18	53.11	83.33
StarGAN	23.47	96.00	25.36	99.51	23.75	99.06	18.12	92.48
MWGAN	19.63	97.65	22.94	99.53	23.69	98.35	15.91	93.66

• MWGAN 在 CelebA 属性翻译任务（单属性与多属性）上，与 CycleGAN、UFDN 及 StarGAN 相比，在 FID 方面更低且属性分类准确率具有竞争力甚至更优。
• MWGAN 在不平衡边缘到 CelebA 的翻译中表现出色，获得最低 FID 与自然度结果。
• 在 toy 分布上，MWGAN 能紧密匹配目标分布，并提供有意义的判别器梯度，比某些基线更优。
• MWGAN 在绘画风格迁移上显示出良好的定性与定量结果，能够处理高度不平衡的域集合。
• 该论文给出一个理论泛化界，表明在有足够域样本时 MWGAN 可以很好地泛化。