[论文解读] cGANs with Conditional Convolution Layer

Min Cheol Sagong, Yong Goo Shin+3 more|arXiv (Cornell University)|Jun 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 6

一句话总结

本文提出了一种条件卷积层（cConv），通过基于输入条件的逐滤波器缩放和逐通道偏移，动态调整卷积核权重，使单个生成器能更有效地学习条件特定特征。该方法在CIFAR、LSUN和tiny-ImageNet上实现了最先进的图像质量，优于标准卷积和条件批归一化，在FID和IS指标上均表现更优。

ABSTRACT

Conditional generative adversarial networks (cGANs) have been widely researched to generate class conditional images using a single generator. However, in the conventional cGANs techniques, it is still challenging for the generator to learn condition-specific features, since a standard convolutional layer with the same weights is used regardless of the condition. In this paper, we propose a novel convolution layer, called the conditional convolution layer, which directly generates different feature maps by employing the weights which are adjusted depending on the conditions. More specifically, in each conditional convolution layer, the weights are conditioned in a simple but effective way through filter-wise scaling and channel-wise shifting operations. In contrast to the conventional methods, the proposed method with a single generator can effectively handle condition-specific characteristics. The experimental results on CIFAR, LSUN and ImageNet datasets show that the generator with the proposed conditional convolution layer achieves a higher quality of conditional image generation than that with the standard convolution layer.

研究动机与目标

• 为解决标准卷积层在cGAN中因权重共享而无法有效学习条件特定特征的局限性。
• 开发一种轻量化、参数高效的机制，使单个生成器能够生成高质量的条件特定图像特征。
• 证明所提层在图像生成之外的泛化能力，包括在条件风格迁移中的应用。
• 以更直接、更有效的权重调制策略，替代或补充现有的条件机制（如条件批归一化，cBN）。

提出的方法

• 提出一种条件卷积层（cConv），通过在标准卷积基础上对滤波器权重应用条件相关的缩放和偏移，实现改进。
• 采用逐滤波器缩放：每个卷积滤波器根据其对应的、由条件决定的可学习标量进行缩放。
• 应用逐通道偏移：每个滤波器的输出根据其对应的、条件相关的偏置向量在通道维度上进行偏移。
• 缩放和偏移参数通过一个小型共享MLP计算，该MLP以类别标签为条件，确保参数开销极低。
• 将cConv插入生成器网络中，替代标准卷积层，不修改判别器或训练过程。
• 该方法与现有cGAN框架兼容，可与cBN等技术结合使用以进一步提升性能。

实验结果

研究问题

• RQ1 使用修改后的卷积层的单个生成器是否能比权重共享的标准cGAN更有效地学习条件特定特征？
• RQ2 对卷积滤波器进行逐滤波器缩放和逐通道偏移是否能提升条件图像生成的图像质量和多样性？
• RQ3 所提出的cConv层是否能泛化到图像生成之外的其他条件任务（如风格迁移）？
• RQ4 在训练动态和最终性能方面，cConv与条件批归一化（cBN）相比表现如何？

主要发现

• 在CIFAR-10上，基于cConv的模型实现了11.59的Fréchet Inception Distance（FID）和88.36的Inception Score（IS），优于使用标准卷积的基线模型。
• 在LSUN上，cConv模型的FID（17.68）更低，IS（77.21）更高，优于cBN基线，表明图像质量与多样性更优。
• 在128×128分辨率的tiny-ImageNet上，cConv模型相较于cBN表现出显著性能提升，FID从28.4降至24.1，而cBN性能更早趋于饱和。
• 在所有数据集上，cConv模型的IS和FID均优于cBN模型，表明其在图像质量和多样性方面具有一致的优越性。
• 通过在两个类别之间插值缩放和偏移参数，cConv成功实现了类别形态转换，生成了合理的中间图像。
• 在条件风格迁移中，cConv模型仅用一个输入就成功生成了10种不同艺术风格的图像，展现出强大的泛化能力。