[论文解读] Dual Attention GANs for Semantic Image Synthesis

Hao Tang, Song Bai+1 more|arXiv (Cornell University)|Aug 29, 2020

Generative Adversarial Networks and Image Synthesis参考文献 48被引用 4

一句话总结

本文提出双注意力生成对抗网络（Dual Attention GANs, DAGAN），一种用于语义图像合成的新框架，通过集成位置感知空间注意力模块与尺度感知通道注意力模块，提升图像的逼真度生成能力。在不改变网络结构或增加额外训练成本的前提下，DAGAN 通过建模空间与通道维度上的语义一致性，实现了参数更少、性能更优的最先进结果，显著减少了模糊与伪影。

ABSTRACT

In this paper, we focus on the semantic image synthesis task that aims at transferring semantic label maps to photo-realistic images. Existing methods lack effective semantic constraints to preserve the semantic information and ignore the structural correlations in both spatial and channel dimensions, leading to unsatisfactory blurry and artifact-prone results. To address these limitations, we propose a novel Dual Attention GAN (DAGAN) to synthesize photo-realistic and semantically-consistent images with fine details from the input layouts without imposing extra training overhead or modifying the network architectures of existing methods. We also propose two novel modules, i.e., position-wise Spatial Attention Module (SAM) and scale-wise Channel Attention Module (CAM), to capture semantic structure attention in spatial and channel dimensions, respectively. Specifically, SAM selectively correlates the pixels at each position by a spatial attention map, leading to pixels with the same semantic label being related to each other regardless of their spatial distances. Meanwhile, CAM selectively emphasizes the scale-wise features at each channel by a channel attention map, which integrates associated features among all channel maps regardless of their scales. We finally sum the outputs of SAM and CAM to further improve feature representation. Extensive experiments on four challenging datasets show that DAGAN achieves remarkably better results than state-of-the-art methods, while using fewer model parameters. The source code and trained models are available at https://github.com/Ha0Tang/DAGAN.

研究动机与目标

• 为解决现有基于 GAN 的语义图像合成方法在生成结果中存在模糊与不一致的问题，其根源在于语义约束较弱且忽略结构相关性。
• 通过显式建模特征表示中的空间与通道注意力机制，提升类内语义一致性。
• 设计轻量化、通用的模块，可无缝集成至现有 GAN 架构中，无需修改网络结构或增加训练开销。
• 在多样化数据集上实现卓越的图像质量与语义一致性，涵盖高分辨率图像与细粒度物体生成任务。

提出的方法

• 提出位置感知空间注意力模块（Position-Wise Spatial Attention Module, SAM），通过计算注意力图，使具有相同语义标签的像素无论空间距离远近都能建立关联，从而增强局部与全局的语义一致性。
• 引入尺度感知通道注意力模块（Scale-Wise Channel Attention Module, CAM），自适应地对不同尺度与通道的特征图进行重校准，突出对任务相关的重要特征。
• 通过逐元素相加的方式融合 SAM 与 CAM 的输出，以增强特征表示并强化语义一致性。
• 采用标准 GAN 框架，包含生成器与判别器，其中所提出的注意力模块被插入生成器中，不改变主干网络结构。
• 采用可学习的注意力机制，基于全局上下文计算注意力权重，使模型能够聚焦于语义相关的区域与特征。
• 采用端到端方式联合训练整个 DAGAN 模型，损失函数包含对抗损失与感知损失，确保生成图像在真实感与语义准确性方面均表现优异。

实验结果

研究问题

• RQ1 联合建模空间与通道注意力是否能有效提升生成图像的语义一致性？
• RQ2 与现有基于 GAN 的方法相比，所提出的注意力机制是否能有效减少模糊与伪影？
• RQ3 所提出的注意力模块是否可在不修改网络结构或增加训练成本的前提下，应用于现有 GAN 架构？
• RQ4 该双注意力机制在分辨率与物体复杂度各异的多样化数据集上是否具有良好的有效性？

主要发现

• 在 Cityscapes 数据集上，DAGAN 的 mIoU 达到 66.1，较基线模型（61.3）提升 4.8 个百分点，表明其具有出色的语义一致性。
• Cityscapes 数据集上的 FID 得分为 60.3，较基线（71.8）降低 11.5 分，表明生成图像在真实感与多样性方面均有显著提升。
• 与最先进方法 GauGAN 相比，DAGAN 生成的语义图更加准确与一致，尤其在道路与车辆等关键区域表现出显著改进。
• 消融实验证实，同时使用 SAM 与 CAM-II 模块可获得最佳性能，显著优于单一模块及 Cai 等人（2019）的先前方法。
• 所提出的模块轻量化且具备良好的泛化能力，可几乎零计算开销地集成至现有 GAN 框架中。