[论文解读] Adaptive Composition GAN towards Realistic Image Synthesis

Fangneng Zhan, Jiaxing Huang+1 more|arXiv (Cornell University)|May 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 61被引用 17

一句话总结

本文提出自适应组合生成对抗网络（AC-GAN），一种端到端可训练的框架，通过联合优化几何与外观合成实现逼真图像生成。通过整合分层合成机制与前景物体自适应的注意力掩码，AC-GAN 减少了伪影并提升了细节保留能力，在场景文本生成、人像编辑和室内渲染任务中达到最先进性能。

ABSTRACT

Despite the rapid progress of generative adversarial networks (GANs) in image synthesis in recent years, current approaches work in either geometry domain or appearance domain which tend to introduce various synthesis artifacts. This paper presents an innovative Adaptive Composition GAN (AC-GAN) that incorporates image synthesis in geometry and appearance domains into an end-to-end trainable network and achieves synthesis realism in both domains simultaneously. An innovative hierarchical synthesis mechanism is designed which is capable of generating realistic geometry and composition when multiple foreground objects with or without occlusions are involved in synthesis. In addition, a novel attention mask is introduced to guide the appearance adaptation to the embedded foreground objects which helps preserve image details and resolution and also provide better reference for synthesis in geometry domain. Extensive experiments on scene text image synthesis, automated portrait editing and indoor rendering tasks show that the proposed AC-GAN achieves superior synthesis performance qualitatively and quantitatively.

研究动机与目标

• 解决现有 GAN 框架仅分别优化几何或外观所导致的合成伪影问题。
• 实现几何与外观两个领域图像合成的端到端训练。
• 在包含遮挡的多个前景物体复杂场景中提升真实感。
• 通过新颖的注意力掩码机制，在外观自适应过程中保留高分辨率细节。

提出的方法

• 提出一种端到端可训练的架构，联合学习几何与外观合成。
• 采用分层合成机制，生成逼真的物体组合与空间布局。
• 设计注意力掩码，专门引导嵌入前景物体的外观自适应。
• 利用注意力掩码增强特征对齐，同时保留分辨率与精细细节。
• 通过跨域特征交互，结合几何与外观分支，提升真实感。
• 使用对抗损失与感知损失进行模型训练，确保高保真度合成。

实验结果

研究问题

• RQ1 几何与外观合成的联合优化是否能减少复杂图像生成中的伪影？
• RQ2 注意力引导的特征自适应如何提升前景物体的细节保留能力？
• RQ3 分层合成机制在处理具有遮挡的多个物体时，其鲁棒性如何？
• RQ4 两个领域端到端联合训练是否优于分阶段或独立训练方法？
• RQ5 AC-GAN 在场景文本生成与室内渲染等多样化任务中的表现如何？

主要发现

• AC-GAN 在场景文本图像生成任务中取得更优的定性结果，生成的文本布局更加逼真且连贯。
• 在自动人像编辑任务中，模型表现出色，有效保留面部细节与真实感构图。
• 在室内渲染任务中，AC-GAN 生成的场景具备一致的几何结构与逼真的纹理。
• 注意力掩码显著提升了前景物体高分辨率区域的细节保留效果。
• 定量评估显示，AC-GAN 在所有测试任务中，于 fiducial 与感知指标上均持续优于基线 GAN 模型。
• 分层合成机制能够稳健处理复杂构图，包括遮挡物体，且未导致真实感下降。