[论文解读] CDCGen: Cross-Domain Conditional Generation via Normalizing Flows and Adversarial Training

H. Das, Ryan Tran+3 more|arXiv (Cornell University)|Aug 25, 2021

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 6

一句话总结

CDCGen 提出了一种基于归一化流和对抗训练的跨域条件生成框架，通过利用具有标签的源域，在标签稀缺的目标域中生成合成数据。通过在共享可逆潜在空间中对齐源域与目标域，并在潜在空间中采用对抗训练，CDCGen 实现了精确的循环一致性与独立的条件生成，相较于先前方法在 MNIST 和 USPS 等基准数据集上的域对齐与条件生成任务中表现更优。

ABSTRACT

How to generate conditional synthetic data for a domain without utilizing information about its labels/attributes? Our work presents a solution to the above question. We propose a transfer learning-based framework utilizing normalizing flows, coupled with both maximum-likelihood and adversarial training. We model a source domain (labels available) and a target domain (labels unavailable) with individual normalizing flows, and perform domain alignment to a common latent space using adversarial discriminators. Due to the invertible property of flow models, the mapping has exact cycle consistency. We also learn the joint distribution of the data samples and attributes in the source domain by employing an encoder to map attributes to the latent space via adversarial training. During the synthesis phase, given any combination of attributes, our method can generate synthetic samples conditioned on them in the target domain. Empirical studies confirm the effectiveness of our method on benchmarked datasets. We envision our method to be particularly useful for synthetic data generation in label-scarce systems by generating non-trivial augmentations via attribute transformations. These synthetic samples will introduce more entropy into the label-scarce domain than their geometric and photometric transformation counterparts, helpful for robust downstream tasks.

研究动机与目标

• 为解决在缺乏标签或属性的域中生成条件合成数据的挑战。
• 实现从有标签的源域向无标签的目标域的知识迁移，以实现数据增强。
• 通过可逆归一化流实现在跨域翻译中精确的循环一致性。
• 在无需目标域标签的情况下，支持目标域中独立的、基于属性的条件生成。
• 提供一个统一框架，整合域对齐与条件生成，并具备丰富且解耦的潜在表征。

提出的方法

• 使用独立的归一化流分别建模源域与目标域，将其映射至共享潜在空间，确保可逆性与精确的循环一致性。
• 使用对抗判别器对齐共享潜在空间中的源域与目标域分布，强制实现域不变性。
• 在潜在空间中使用 ACGAN 的变体训练条件生成网络，其中条件（如类别标签）被编码并用于生成样本。
• 采用编码器将类别标签映射至潜在空间，通过潜在空间操作实现条件生成。
• 采用联合训练策略，结合最大似然流训练与对抗训练，以实现域对齐与条件生成。
• 应用 t-SNE 可视化以确认共享潜在空间保留了类别身份，并支持跨属性的有意义插值。

实验结果

研究问题

• RQ1 生成模型是否能在不依赖基于 GAN 的近似映射的前提下，实现在跨域翻译中的精确循环一致性？
• RQ2 是否可以仅使用有标签的源域，在不访问目标域标签的情况下，为目标域生成条件合成样本？
• RQ3 通过归一化流在共享潜在空间中建模两个域，是否能实现有效的域对齐与解耦的属性控制？
• RQ4 与几何与光度数据增强相比，CDCGen 在生成多样化、高熵合成样本方面的表现如何？
• RQ5 该框架是否能泛化至复杂数据分布（如人脸图像或表格数据），并在不同标签可用性条件下保持有效？

主要发现

• 由于归一化流的可逆性，CDCGen 实现了精确的循环一致性，优于依赖近似循环一致性的基于 GAN 的方法。
• 共享潜在空间的 t-SNE 可视化显示，每个数字类别的聚类清晰且分离良好，证实了类别身份在域间被有效保留。
• 条件生成可生成真实且属性特定的样本（如数字 '3' 或 '7'），各列间呈现视觉多样性，表明生成过程具有随机性。
• 该模型成功将 MNIST 数字转换为 USPS 风格，反之亦然，在保持类别身份的同时适应了目标域的风格。
• 尽管图像锐度略有下降，CDCGen 生成的样本熵值高于标准数据增强方法，有利于提升下游任务的鲁棒性。
• 在 MNIST 和 USPS 上的实证结果表明，CDCGen 在所有源-目标组合中均展现出强大的域对齐与条件生成性能。