[论文解读] Learning Spatial Pyramid Attentive Pooling in Image Synthesis and Image-to-Image Translation

Wei Sun, Tianfu Wu|arXiv (Cornell University)|Jan 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 8

一句话总结

本文提出空间金字塔注意力池化（SPAP），一种轻量级、通用的架构模块，通过融合空洞空间金字塔池化、级联注意力机制与残差连接，提升生成对抗网络（GANs）和CycleGAN中的特征融合效果。SPAP通过可学习注意力机制实现多尺度上下文建模，显著提升图像生成与图像到图像翻译的质量，在参数量更少的情况下达到或超越现有方法的最先进性能。

ABSTRACT

Image synthesis and image-to-image translation are two important generative learning tasks. Remarkable progress has been made by learning Generative Adversarial Networks (GANs)~\cite{goodfellow2014generative} and cycle-consistent GANs (CycleGANs)~\cite{zhu2017unpaired} respectively. This paper presents a method of learning Spatial Pyramid Attentive Pooling (SPAP) which is a novel architectural unit and can be easily integrated into both generators and discriminators in GANs and CycleGANs. The proposed SPAP integrates Atrous spatial pyramid~\cite{chen2018deeplab}, a proposed cascade attention mechanism and residual connections~\cite{he2016deep}. It leverages the advantages of the three components to facilitate effective end-to-end generative learning: (i) the capability of fusing multi-scale information by ASPP; (ii) the capability of capturing relative importance between both spatial locations (especially multi-scale context) or feature channels by attention; (iii) the capability of preserving information and enhancing optimization feasibility by residual connections. Coarse-to-fine and fine-to-coarse SPAP are studied and intriguing attention maps are observed in both tasks. In experiments, the proposed SPAP is tested in GANs on the Celeba-HQ-128 dataset~\cite{karras2017progressive}, and tested in CycleGANs on the Image-to-Image translation datasets including the Cityscape dataset~\cite{cordts2016cityscapes}, Facade and Aerial Maps dataset~\cite{zhu2017unpaired}, both obtaining better performance.

研究动机与目标

• 设计一种通用、轻量级的架构模块，以提升GAN与CycleGAN中生成学习的效果。
• 通过引入可学习注意力机制，解决原始空洞空间金字塔池化（ASPP）在生成任务中的局限性，实现更优的多尺度特征聚合。
• 通过结合多感受野建模、基于注意力的特征融合与残差学习，增强生成器与判别器的特征表示能力。
• 在不显著增加模型复杂度的前提下，提升图像生成与图像到图像翻译任务中的图像质量与结构保真度。

提出的方法

• SPAP通过空洞卷积与不同空洞率，从特征图中捕获多尺度上下文信息。
• 引入级联注意力机制，按层级逐步聚合金字塔各层的特征，支持从粗到细或从细到粗的特征融合。
• 通过可学习的位置无关全连接层计算注意力权重，动态调节不同空间位置与尺度上的特征重要性。
• 通过原始输入与注意力调制特征的凸组合实现残差连接，引入可学习门控机制以保留信息并改善优化过程。
• 该模块为即插即用设计，可直接替换GAN与CycleGAN中生成器与判别器架构中的标准层。
• 在无条件图像生成（使用SNDCGAN在Celeba-HQ-128上）与无配对图像到图像翻译（使用CycleGAN在Cityscapes、Facade与Aerial Maps数据集上）中对方法进行评估。

实验结果

研究问题

• RQ1 是否可通过统一的架构模块，同时提升GAN与CycleGAN中生成器与判别器的多尺度特征融合能力？
• RQ2 在生成任务中，引入金字塔层级间的级联注意力机制是否优于原始ASPP的特征聚合方式？
• RQ3 SPAP是否能在不增加模型深度或参数量的前提下，提升图像生成与图像到图像翻译中的图像质量与结构保真度？
• RQ4 SPAP对判别器的有效感受野有何影响，尤其在PatchGAN架构中？
• RQ5 SPAP是否能达到如SCAN等复杂模型的性能表现，后者采用堆叠的CycleGAN与渐进式训练策略？

主要发现

• 在Celeba-HQ-128数据集上，SPAP优于原始CycleGAN与SNDCGAN，生成的面部图像更真实、细节更丰富，FID与IS分数均有提升。
• 在图像到图像翻译任务中，SPAP在Cityscapes、Facade与Aerial Maps数据集上的表现优于或可与SCAN模型相媲美，且PSNR与SSIM值更高。
• 在Map ⇔ Aerial数据集上，SPAP模型达到PSNR 27.8与SSIM 0.86，优于CycleGAN，并接近SCAN模型的性能表现。
• SPAP中的注意力图显示，粗粒度特征关注全局上下文（如背景、头发），而细粒度特征则聚焦于局部细节（如眼睛、眼镜），验证了其有效的尺度感知注意力机制。
• 在SNDCGAN中，判别器的感受野从52扩大至100；在PatchGAN中，感受野扩大至236×236，显著增强结构判别能力，且未增加网络深度或参数量。
• 尽管模型参数量显著更少，SPAP仍能达到与结构更复杂的SCAN模型相当的性能，后者依赖堆叠的CycleGAN与渐进式训练策略。