[论文解读] KG-GAN: Knowledge-Guided Generative Adversarial Networks

Che-Han Chang, Chun-Hsien Yu+2 more|arXiv (Cornell University)|May 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 7

一句话总结

KG-GAN 提出了一种知识引导的生成对抗网络，通过约束函数整合领域知识，提升 GAN 的多样性，从而实现从已见类别生成未见的花卉类别。其在使用语义嵌入作为条件引导的牛津花卉数据集上，取得了 SOTA 的 FID 分数，分别为 0.1385（已见）和 0.1386（未见）。

ABSTRACT

Can generative adversarial networks (GANs) generate roses of various colors given only roses of red petals as input? The answer is negative, since GANs' discriminator would reject all roses of unseen petal colors. In this study, we propose knowledge-guided GAN (KG-GAN) to fuse domain knowledge with the GAN framework. KG-GAN trains two generators; one learns from data whereas the other learns from knowledge with a constraint function. Experimental results demonstrate the effectiveness of KG-GAN in generating unseen flower categories from seen categories given textual descriptions of the unseen ones.

研究动机与目标

• 解决 GAN 在训练数据未能覆盖完整底层分布时，难以生成未见类别数据的局限性。
• 通过引入领域知识作为探索引导，超越训练数据范围提升 GAN 多样性。
• 通过基于知识的约束，将生成过程限制在语义有效区域，确保生成样本的合理性。
• 在零样本和少样本设置下，证明知识引导生成在图像生成中的有效性。

提出的方法

• KG-GAN 训练两个生成器：G₁ 从已见类别的真实数据中学习，而 G₂ 使用知识约束生成未见类别。
• 领域知识通过深度回归网络形式化为约束函数，用于预测图像目标类别的语义嵌入。
• 使用文本描述生成的语义嵌入作为条件输入，引导生成过程，实现已见与未见类别之间的插值。
• 在 G₁ 和 G₂ 之间采用共享权重策略，实现从已见类别到未见类别的知识迁移。
• 损失函数包含风格嵌入正则化项（ℒse），以对齐生成图像与目标类别的语义空间。
• 框架采用投影判别器和谱归一化，以提升训练稳定性，与 SN-GAN 类似。

实验结果

研究问题

• RQ1 当训练数据中仅包含已见类别时，GAN 是否能够生成未见花卉类别的逼真图像？
• RQ2 如何有效将领域知识整合到 GAN 中，以引导生成多样化、合理且语义有效的样本？
• RQ3 与独热编码相比，使用语义嵌入作为条件是否能提升生成质量和多样性？
• RQ4 知识引导生成在多大程度上减少模式崩溃并提升底层数据流形的覆盖度？
• RQ5 引入语义嵌入正则化损失（ℒse）在多大程度上影响生成图像的保真度和多样性？

主要发现

• KG-GAN 在已见类别上取得 SOTA 的 FID 分数 0.1385，在未见类别上为 0.1386，显著优于 SN-GAN（0.6922 和 0.6201）。
• 使用语义嵌入作为条件的生成效果优于独热编码，证明结构化知识相比类别标签具有优势。
• 在无 ℒse 的消融实验中，性能依然良好（FID 0.1412/0.1408），表明通过共享权重实现的知识迁移已能支持合理的零样本生成。
• 视觉结果表明，KG-GAN 能够根据文本描述准确生成正确的花卉颜色，但因文本描述一致性较低，难以准确把握形状和结构细节。
• 每类平均 800 个 fastText 向量能较好保留颜色信息，但会使结构和形状相关特征模糊，凸显当前知识表示的局限性。