[论文解读] Conditional Adversarial Generative Flow for Controllable Image Synthesis

Rui Liu, Yu Liu+3 more|arXiv (Cornell University)|Apr 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 6

一句话总结

本文提出了一种新型基于流的生成模型——条件对抗生成流（CAGlow），该模型利用对抗性编码器将条件输入（如身份、属性）映射到可逆流的潜在空间，从而实现可控且高保真度的图像生成。与标准Glow相比，CAGlow在复杂或未知条件下的条件图像生成中表现更优，实现了更好的属性解耦与更低的分布差异。

ABSTRACT

Flow-based generative models show great potential in image synthesis due to its reversible pipeline and exact log-likelihood target, yet it suffers from weak ability for conditional image synthesis, especially for multi-label or unaware conditions. This is because the potential distribution of image conditions is hard to measure precisely from its latent variable $z$. In this paper, based on modeling a joint probabilistic density of an image and its conditions, we propose a novel flow-based generative model named conditional adversarial generative flow (CAGlow). Instead of disentangling attributes from latent space, we blaze a new trail for learning an encoder to estimate the mapping from condition space to latent space in an adversarial manner. Given a specific condition $c$, CAGlow can encode it to a sampled $z$, and then enable robust conditional image synthesis in complex situations like combining person identity with multiple attributes. The proposed CAGlow can be implemented in both supervised and unsupervised manners, thus can synthesize images with conditional information like categories, attributes, and even some unknown properties. Extensive experiments show that CAGlow ensures the independence of different conditions and outperforms regular Glow to a significant extent.

研究动机与目标

• 解决基于流的模型在条件图像生成中的局限性，尤其是在多标签或未知条件下的表现。
• 克服复杂图像条件下的潜在分布估计不精确的挑战。
• 通过监督与无监督条件学习，实现鲁棒且解耦的条件图像生成。
• 在复杂条件下提升生成样本的质量，并改善真实图像与生成图像之间的分布对齐。

提出的方法

• 提出一种条件流模型CAGlow，通过可学习的编码器将条件空间映射到可逆流的潜在空间。
• 通过对抗性训练确保在给定条件下，生成的潜在码与真实数据分布相匹配。
• 通过图像与条件的联合概率密度建模，实现端到端训练，兼具精确对数似然与对抗正则化。
• 通过潜在码操作，在无监督条件下发现并操纵可解释的未知属性（如旋转、亮度）。
• 实现监督与无监督两种训练模式，支持基于已知标签或潜在因子的图像生成。
• 利用流的可逆性，通过操纵对应特定条件的潜在码实现可控图像生成。

实验结果

研究问题

• RQ1 当条件复杂或具有多模态特征时，基于流的生成模型能否实现高质量的条件图像生成？
• RQ2 对抗性编码器能否在基于流的框架中有效学习从条件空间到潜在空间的连续且解耦的映射？
• RQ3 CAGlow能否在无监督条件下发现并操纵未知但可解释的图像属性？
• RQ4 在复杂条件下，CAGlow与标准Glow相比，在属性稳定性、FID得分和分布对齐方面表现如何？

主要发现

• 在CelebA数据集上，CAGlow在生成图像的属性分类中达到93.75%的top-1准确率，显著优于CGlow的87.36%。
• CAGlow的属性平均概率（AMP）方差为0.0016，远低于CGlow的0.0245，表明其属性稳定性更优。
• 与CGlow相比，CAGlow在条件操纵下AMP差异的绝对值最多降低80%，证明其具有更好的解耦能力。
• 在MNIST数据集上，CAGlow通过潜在码变化成功学习并操纵了如数字旋转和宽度等未知属性，展现出无监督可解释性。
• 在CelebA数据集上，CAGlow捕捉到了未显式标注的俯仰角（yaw angles）和亮度变化，证实其能无监督发现可解释因子。
• 尽管具备条件控制，CAGlow仍保持接近原始Glow的低FID分数，表明其生成图像在多样性与保真度方面表现优异。