[论文解读] CariGAN: Caricature Generation through Weakly Paired Adversarial Learning

Wenbin Li, Wei Xiong+4 more|arXiv (Cornell University)|Nov 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 48被引用 18

一句话总结

CariGAN 提出了一种弱配对条件生成对抗网络，用于漫画肖像生成，通过面部关键点和图像融合机制实现逼真的夸张效果与身份保留，同时通过多样性损失缓解模式崩溃。在 WebCaricature 数据集上的实验表明，该方法在感知质量、身份保留和夸张程度方面均优于当前最先进模型，用户研究得分平均为 5.66/10（各项指标综合）。

ABSTRACT

Caricature generation is an interesting yet challenging task. The primary goal is to generate plausible caricatures with reasonable exaggerations given face images. Conventional caricature generation approaches mainly use low-level geometric transformations such as image warping to generate exaggerated images, which lack richness and diversity in terms of content and style. The recent progress in generative adversarial networks (GANs) makes it possible to learn an image-to-image transformation from data, so that richer contents and styles can be generated. However, directly applying the GAN-based models to this task leads to unsatisfactory results because there is a large variance in the caricature distribution. Moreover, some models require strictly paired training data which largely limits their usage scenarios. In this paper, we propose CariGAN overcome these problems. Instead of training on paired data, CariGAN learns transformations only from weakly paired images. Specifically, to enforce reasonable exaggeration and facial deformation, facial landmarks are adopted as an additional condition to constrain the generated image. Furthermore, an attention mechanism is introduced to encourage our model to focus on the key facial parts so that more vivid details in these regions can be generated. Finally, a Diversity Loss is proposed to encourage the model to produce diverse results to help alleviate the `mode collapse' problem of the conventional GAN-based models. Extensive experiments on a new large-scale `WebCaricature' dataset show that the proposed CariGAN can generate more plausible caricatures with larger diversity compared with the state-of-the-art models.

研究动机与目标

• 为解决从单张人脸图像生成多样化、逼真漫画肖像的挑战。
• 克服像素级配对 GAN 的局限性，因为此类数据在漫画肖像生成中难以获取。
• 在不依赖严格图像到图像对应关系的前提下，提升身份保留与面部夸张效果。
• 通过引入多样性损失，缓解 GAN 中的模式崩溃问题，促进输出多样化。
• 开发一种在漫画肖像生成中平衡逼真度、身份一致性、夸张表现与多样性的模型。

提出的方法

• CariGAN 采用弱配对训练设置，其中输入人脸与真实漫画肖像共享身份，但缺乏像素级或姿态级对应关系。
• 利用面部关键点作为条件输入，引导生成漫画肖像中面部形变与夸张的合理性。
• 引入图像融合机制，使生成器聚焦于关键面部区域，提升局部细节丰富度与视觉吸引力。
• 在训练过程中应用多样性损失，通过条件化于不同的随机噪声向量，鼓励生成器产生多样化输出。
• 模型采用基于 U-Net 的生成器和基于局部感受野的判别器，通过条件 GAN 损失与对抗目标端到端联合训练。
• 该框架结合对抗损失、身份损失与感知损失，以平衡真实感、身份保真度与结构一致性。

实验结果

研究问题

• RQ1 基于 GAN 的模型是否能够在不依赖严格配对训练数据的情况下生成高质量漫画肖像？
• RQ2 如何有效利用面部关键点来引导漫画生成中的真实且一致的夸张表现？
• RQ3 图像融合机制是否能通过强调关键面部区域，提升生成漫画肖像的视觉质量？
• RQ4 多样性损失是否能有效减少模式崩溃并提升漫画生成的输出多样性？
• RQ5 与当前最先进方法相比，所提出的 CariGAN 模型在感知质量、身份保留与夸张表现方面表现如何？

主要发现

• CariGAN 在用户研究中取得平均感知得分 5.66/10，显著优于 Pix2Pix（1.90）、BicycleGAN（5.30）和 PG2（3.60）。
• 模型获得 5.45 的逼真度得分，表明生成的漫画肖像在视觉上逼真且符合卡通风格特征。
• 其身份保留得分为 5.34，表明在多样化输出中仍能保持对输入人脸身份的强保真度。
• 夸张得分达 6.18，表明 CariGAN 能够以合理且艺术化的方式显著放大眼睛、鼻子、嘴巴等面部特征。
• 与 BicycleGAN 相比，CariGAN 生成的图像更清晰，夸张效果更佳，避免了基于 L1 损失模型常见的模糊伪影。
• 图像融合机制与多样性损失共同提升了局部细节质量与输出多样性，经定性与定量评估验证有效。