[论文解读] Improving GAN Equilibrium by Raising Spatial Awareness

Jianyuan Wang, Ceyuan Yang+4 more|arXiv (Cornell University)|Dec 1, 2021

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

该论文提出 EqGAN-SA，通过让生成器通过与判别器的注意力对齐来增强空间感知能力，从而改善 GAN 训练的平衡性。通过注入多层级空间热力图并将其与判别器基于 GradCAM 的注意力对齐，该方法减少了信息不对称性，从而提升了图像合成质量——在 FFHQ 数据集上实现了 2.96 的 FID（对比基线的 3.66），并支持通过热力图操作实现交互式编辑。

ABSTRACT

The success of Generative Adversarial Networks (GANs) is largely built upon the adversarial training between a generator (G) and a discriminator (D). They are expected to reach a certain equilibrium where D cannot distinguish the generated images from the real ones. However, such an equilibrium is rarely achieved in practical GAN training, instead, D almost always surpasses G. We attribute one of its sources to the information asymmetry between D and G. We observe that D learns its own visual attention when determining whether an image is real or fake, but G has no explicit clue on which regions to focus on for a particular synthesis. To alleviate the issue of D dominating the competition in GANs, we aim to raise the spatial awareness of G. Randomly sampled multi-level heatmaps are encoded into the intermediate layers of G as an inductive bias. Thus G can purposefully improve the synthesis of certain image regions. We further propose to align the spatial awareness of G with the attention map induced from D. Through this way we effectively lessen the information gap between D and G. Extensive results show that our method pushes the two-player game in GANs closer to the equilibrium, leading to a better synthesis performance. As a byproduct, the introduced spatial awareness facilitates interactive editing over the output synthesis. Demo video and code are available at https://genforce.github.io/eqgan-sa/.

研究动机与目标

• 解决 GAN 训练中判别器持续优于生成器的持续性失衡问题。
• 探究这种失衡的根本原因，将生成器与判别器之间在空间感知上的信息不对称性识别为关键因素。
• 通过赋予生成器与判别器注意力对齐的显式空间感知能力，提升图像合成质量。
• 通过操纵输入生成器的热力图，实现交互式图像编辑。

提出的方法

• 通过空间编码层（SEL）将随机采样的多层级空间热力图作为归纳偏置，注入生成器中间层。
• 在训练过程中，使用 GradCAM 从判别器提取生成图像的注意力图。
• 通过监督损失将生成器的空间感知与判别器的注意力图对齐，以减少信息不对称性。
• 采用分层热力图采样策略，匹配 StyleGAN2 的粗到细合成过程。
• 在不修改判别器架构的前提下，将空间编码与注意力对齐整合到生成器网络中。
• 通过对抗损失与空间对齐损失联合训练生成器，以提升区域合成保真度。

实验结果

研究问题

• RQ1 尽管模型已收敛，为何判别器在 GAN 训练中始终优于生成器？
• RQ2 判别器的自学习视觉注意力如何促使其在对抗游戏中占据主导地位？
• RQ3 提升生成器的空间感知能力是否能减少生成器与判别器之间的信息不对称性？
• RQ4 将生成器注意力与判别器注意力对齐，在多大程度上能改善 GAN 的平衡性与合成质量？
• RQ5 具备空间感知能力的生成器是否能通过热力图操作支持交互式图像编辑？

主要发现

• EqGAN-SA 减少了判别器对真实图像与生成图像评分之间的差距，使 GAN 游戏更接近平衡状态，如图 1 所示的损失曲线所示。
• 在 256×256 分辨率的 FFHQ 数据集上，该方法将 FID 从基线的 3.66（StyleGAN2）降低至 2.96，表明质量有显著提升。
• 即使在噪声或生成质量较差的情况下，判别器的注意力图仍保持稳健且一致，验证了其作为监督信号的可靠性。
• 通过热力图引入的空间感知能力支持交互式编辑：用户可通过修改输入热力图来调控输出合成结果。
• 该方法在不增加模型容量的前提下提升了合成质量，表明信息不对称性是 GAN 训练中的关键瓶颈。
• 空间编码操作偶尔会在热力图边界引起模糊，表明实现中存在轻微的权衡。