[论文解读] Group Equivariant Generative Adversarial Networks

Neel Dey, Antong Chen+1 more|arXiv (Cornell University)|May 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 74被引用 8

一句话总结

本文提出群等变生成对抗网络（GE-GANs），通过群卷积在生成器和判别器架构中显式引入对称性先验（如旋转和反射）。通过用群等变卷积层替代标准卷积层，该方法在低数据设置下显著提升了样本效率、生成保真度和训练稳定性，同时与现代 GAN 训练技术无缝兼容。

ABSTRACT

Recent improvements in generative adversarial visual synthesis incorporate real and fake image transformation in a self-supervised setting, leading to increased stability and perceptual fidelity. However, these approaches typically involve image augmentations via additional regularizers in the GAN objective and thus spend valuable network capacity towards approximating transformation equivariance instead of their desired task. In this work, we explicitly incorporate inductive symmetry priors into the network architectures via group-equivariant convolutional networks. Group-convolutions have higher expressive power with fewer samples and lead to better gradient feedback between generator and discriminator. We show that group-equivariance integrates seamlessly with recent techniques for GAN training across regularizers, architectures, and loss functions. We demonstrate the utility of our methods for conditional synthesis by improving generation in the limited data regime across symmetric imaging datasets and even find benefits for natural images with preferred orientation.

研究动机与目标

• 解决 GAN 在低数据设置下，特别是在医学成像和天文学成像等对称图像模态中的训练不稳定性和样本效率低下问题。
• 克服数据增强和一致性正则化方法的局限性，这些方法会浪费网络容量用于学习等变性，而非主要的生成任务。
• 通过群等变卷积，将几何对称性（如旋转、反射）的归纳偏置直接整合到 GAN 架构中。
• 证明群等变性可同时提升生成器和判别器的性能，且不损害与现代 GAN 训练技术的兼容性。
• 通过群卷积层中的结构化权重共享，利用对称性先验，在数据受限条件下提升条件图像生成质量。

提出的方法

• 在生成器和判别器中均用群卷积（如 $p4$、$z2$-等变）替代标准卷积层，以在特定对称群下强制实现等变性。
• 对具有 90° 旋转对称性的数据（如 Food-101、Pix2Pix）使用 $p4$-等变卷积；对仅具有平移不变性的数据使用 $z2$-等变卷积。
• 设计专用的残差块（$p4$-ResBlockG、$p4$-ResBlockD），通过 $p4$-批归一化和分组特征变换保持群等变性。
• 以最小的架构改动将群等变层集成到标准 GAN 架构（如 StyleGAN、Pix2Pix）中，保持与损失函数和正则化器的兼容性。
• 在判别器中对群对称特征空间进行全局平均池化，生成用于真实/虚假分类的单一标量输出。
• 在生成器的跳跃连接中使用群等变上采样和拼接操作，以在特征重建过程中保持对称性。

实验结果

研究问题

• RQ1 在 GAN 中显式引入群等变性是否能提升低数据设置下对称图像生成任务的样本效率和生成质量？
• RQ2 与使用数据增强或一致性正则化的标准 GAN 相比，群等变 GAN 训练在稳定性和保真度方面表现如何？
• RQ3 当底层数据表现出旋转或反射对称性时，群等变网络在条件图像生成方面能提升多少？
• RQ4 将群等变性与现代 GAN 训练技术（如谱归一化、实例归一化）结合后，是否仍保持稳定和高效？
• RQ5 即使对称性不完美，群等变 GAN 是否也能泛化到具有偏好方向的自然图像中？

主要发现

• 在对称数据集（如 Food-101、医学影像）上，GE-GAN 在训练数据有限时表现出更优的感知质量和训练稳定性，优于标准 GAN 和增强基线模型。
• 在 Food-101 上，$p4$-等变生成器和判别器在低数据条件下显著提升了 Inception Score 和 FID 指标，样本多样性与保真度均有明显提升。
• 群等变网络因权重共享更多、结构化特征学习更优，展现出更好的梯度反馈和更快收敛速度，从而减少模式崩溃。
• 该方法具有泛化能力：即使在自然图像（如 Pix2Pix 中的图像）具有偏好方向时，$p4$-等变性仍能提升图像重建质量。
• GE-GAN 与先进 GAN 训练技术（如谱归一化、实例归一化，以及 L1 和对抗性损失等损失函数）保持兼容。
• 消融实验证明，仅依靠群等变性（无需数据增强）的性能优于使用数据增强的标准 GAN，证明归纳偏置比正则化学习等变性更有效。