[论文解读] Cycle In Cycle Generative Adversarial Networks for Keypoint-Guided Image Generation

Hao Tang, Dan Xu+4 more|arXiv (Cornell University)|Aug 2, 2019

Generative Adversarial Networks and Image Synthesis参考文献 52被引用 9

一句话总结

本文提出了一种新型生成对抗网络——循环内循环 GAN（C²GAN），通过三个循环子网络（一个图像生成循环和两个关键点生成循环）联合学习关键点引导的图像生成与关键点重建。通过在图像与关键点模态之间实现双向、端到端的优化，C²GAN 在面部表情生成与人体姿态生成任务中，生成的图像比当前最先进模型更具照片级真实感与细节表现。

ABSTRACT

In this work, we propose a novel Cycle In Cycle Generative Adversarial Network (C$^2$GAN) for the task of keypoint-guided image generation. The proposed C$^2$GAN is a cross-modal framework exploring a joint exploitation of the keypoint and the image data in an interactive manner. C$^2$GAN contains two different types of generators, i.e., keypoint-oriented generator and image-oriented generator. Both of them are mutually connected in an end-to-end learnable fashion and explicitly form three cycled sub-networks, i.e., one image generation cycle and two keypoint generation cycles. Each cycle not only aims at reconstructing the input domain, and also produces useful output involving in the generation of another cycle. By so doing, the cycles constrain each other implicitly, which provides complementary information from the two different modalities and brings extra supervision across cycles, thus facilitating more robust optimization of the whole network. Extensive experimental results on two publicly available datasets, i.e., Radboud Faces and Market-1501, demonstrate that our approach is effective to generate more photo-realistic images compared with state-of-the-art models.

研究动机与目标

• 解决在遮挡和光照变化等复杂条件下，从稀疏关键点监督生成照片级真实感图像的挑战。
• 克服现有无配对图像到图像转换模型在多领域场景下扩展性差，或在无限领域任务（如人体姿态或手势生成）中失效的局限。
• 通过相互监督机制，实现图像与关键点生成的联合学习，以提升模型鲁棒性与细节保真度。
• 构建一个统一的、端到端可训练的框架，能够同时从条件输入中重建图像并预测准确的关键点布局。

提出的方法

• 提出双生成器架构，包含面向关键点的生成器与面向图像的生成器，并以循环、端到端方式连接。
• 构建三个循环子网络：一个图像到图像的循环（图像 → 关键点 → 图像）和两个关键点到关键点的循环（关键点 → 图像 → 关键点），以实现双向重建。
• 使用对抗训练策略，结合判别器以增强生成图像的真实性与预测关键点布局的一致性。
• 应用循环一致性损失，确保重建的图像与关键点与原始输入高度匹配，从而在不同模态间提供额外监督。
• 通过结合对抗损失、循环一致性损失与感知损失的联合损失函数，对整个网络进行端到端优化。
• 支持在任意图像尺寸上进行推理，仅需极少的架构调整，具备灵活的部署能力。

实验结果

研究问题

• RQ1 一个统一的生成模型是否能通过循环交叉模态监督，同时提升图像与关键点的生成质量？
• RQ2 在关键点引导的面部表情与人体姿态生成任务中，所提出的 C²GAN 框架相较于当前最先进模型表现如何？
• RQ3 图像与关键点生成器之间的循环交互在多大程度上提升了生成质量并减少了模式崩溃？
• RQ4 该模型是否能在包含遮挡与光照变化等复杂现实场景下，泛化到不同图像尺寸？
• RQ5 与单模态方法相比，图像与关键点生成的联合学习是否能带来更优的感知质量与结构保真度？

主要发现

• 在 Radboud Faces 数据集上，C²GAN 在所有指标（FID、LPIPS、SSIM、IS）上均表现最佳，显著优于 GPGAN、PG² 及其他 SOTA 模型，适用于关键点引导的面部表情生成。
• 在 Market-1501 数据集上，C²GAN 生成的人体图像比 PG² 和 PoseGAN 更为真实且细节更丰富，尤其在保持身份特征、衣着及帽子等配饰方面表现优异。
• 即使在部分遮挡或复杂背景等挑战性场景下，C²GAN 仍能正确生成人物与姿态，而 PG² 和 PoseGAN 则无法生成有意义的输出。
• 关键点生成器能够生成高度准确的关键点预测（如面部标志点与人体关节点），其生成的关键点布局在定性与定量评估中均与真实值高度一致。
• 在关键点引导的人体图像生成任务中，C²GAN 表现具有竞争力，优于 PG² 与 DPIG 在 AMT（R2G）、mask-SSIM 与 mask-IS 指标上的表现，且在 IS 指标上与 PoseGAN 持平，同时在其他指标上实现提升。
• 由于强循环约束与显式交叉模态监督，该模型在关键点引导任务中对模式崩溃表现出强鲁棒性，确保了输入特定内容的忠实重建。