[论文解读] Local Class-Specific and Global Image-Level Generative Adversarial Networks for Semantic-Guided Scene Generation

Hao Tang, Dan Xu+3 more|arXiv (Cornell University)|Dec 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 64被引用 14

一句话总结

本文提出了一种局部类别特定与全局图像级生成对抗网络（LGGAN），用于语义引导的场景生成，通过结合全局图像级生成器与类别特定的局部生成器，以及可学习的权重图融合模块，提升了小物体和细节的生成效果。该方法在语义图像合成与跨视角图像转换基准测试中均达到最先进性能，FID与mIoU指标显著提升。

ABSTRACT

In this paper, we address the task of semantic-guided scene generation. One open challenge in scene generation is the difficulty of the generation of small objects and detailed local texture, which has been widely observed in global image-level generation methods. To tackle this issue, in this work we consider learning the scene generation in a local context, and correspondingly design a local class-specific generative network with semantic maps as a guidance, which separately constructs and learns sub-generators concentrating on the generation of different classes, and is able to provide more scene details. To learn more discriminative class-specific feature representations for the local generation, a novel classification module is also proposed. To combine the advantage of both the global image-level and the local class-specific generation, a joint generation network is designed with an attention fusion module and a dual-discriminator structure embedded. Extensive experiments on two scene image generation tasks show superior generation performance of the proposed model. The state-of-the-art results are established by large margins on both tasks and on challenging public benchmarks. The source code and trained models are available at https://github.com/Ha0Tang/LGGAN.

研究动机与目标

• 解决全局图像级GAN在语义引导图像合成中对小物体和精细纹理生成效果不佳的挑战。
• 克服共享参数网络中类别不平衡与物体尺寸差异带来的局限，避免大类别主导学习过程。
• 设计一种局部类别特定生成器，学习不同语义类别的独特表征，提升细节生成能力。
• 通过端到端可训练的融合机制与可学习权重图，整合局部与全局生成过程。
• 开发一种新型基于分类的特征学习模块，以增强判别性类别特定表征。

提出的方法

• 提出多分支生成器结构，包含共享编码器、全局图像级生成器（$G_g$）以及每个语义类别对应的类别特定局部生成器（$G_l$）。
• 利用语义图对类别特定特征图进行空间引导，实现在每个物体类别上的局部化生成。
• 引入权重图生成器（$G_w$），学习两个像素级注意力图，通过逐元素相乘动态融合局部与全局结果。
• 采用双判别器结构（$D_s$），在图像空间与语义空间中区分生成图像，以提升保真度与一致性。
• 设计基于分类的模块，学习更具判别性的类别特定特征，从而提升局部生成器性能。
• 通过对抗损失、感知损失与分类损失联合优化，端到端训练整个网络，实现全局与局部生成的协同优化。

实验结果

研究问题

• RQ1 与全局图像级生成相比，局部类别特定生成是否能提升小尺度与细节化物体的合成效果？
• RQ2 类别特定特征学习如何增强模型生成细粒度纹理与结构的能力？
• RQ3 基于可学习注意力的局部与全局生成融合，在多大程度上提升了整体图像质量与语义一致性？
• RQ4 引入基于分类的特征学习模块是否能为单个物体类别生成更具判别性的表征？
• RQ5 类别不平衡与物体尺寸差异如何影响生成性能？能否通过局部化学习加以缓解？

主要发现

• 所提出的LGGAN在语义图像合成（Cityscapes）与跨视角图像转换（Dayton）基准测试中均达到最先进性能。
• 消融实验表明，采用基于卷积的局部生成相比基于加法的融合方式，mIoU提升3.5，FID降低6.2。
• 基于分类的特征学习模块使mIoU提升1.2，FID降低4.3，相较于基线局部生成，验证了其有效性。
• 权重图融合策略使性能提升1.4 mIoU与3.6 FID，表明局部与全局分支具有互补优势。
• 定性结果表明，相比GauGAN，本方法产生更少伪影，更好地保留了小物体（如交通标志、电线杆）与局部纹理。
• 所学特征图的可视化结果表明，每个局部子生成器均学习到针对道路、植被与车辆等类别的独特、类别特定的表征。