[论文解读] cGANs with Multi-Hinge Loss

Ilya Kavalerov, Wojciech Czaja+1 more|arXiv (Cornell University)|Dec 9, 2019

Advanced Image Processing Techniques参考文献 43被引用 12

一句话总结

本文提出了一种用于条件式生成对抗网络（conditional GANs）的多类别合页损失（MHGAN），通过为每个类别引入多个分类边界，使生成器和判别器能够学习类别特定的特征，从而在 ImageNet-128 上提升图像生成的质量与多样性。该方法在计算开销极低的情况下，实现了半监督设置下的最先进性能，Inception Score 达到 169.68，FID 为 8.87，优于基线 GAN 模型，并在共享参数时展现出对图像质量与多样性的可控权衡。

ABSTRACT

We propose a new algorithm to incorporate class conditional information into the critic of GANs via a multi-class generalization of the commonly used Hinge loss that is compatible with both supervised and semi-supervised settings. We study the compromise between training a state of the art generator and an accurate classifier simultaneously, and propose a way to use our algorithm to measure the degree to which a generator and critic are class conditional. We show the trade-off between a generator-critic pair respecting class conditioning inputs and generating the highest quality images. With our multi-hinge loss modification we are able to improve Inception Scores and Frechet Inception Distance on the Imagenet dataset. We make our tensorflow code available at https://github.com/ilyakava/gan.

研究动机与目标

• 为解决训练条件式 GAN 时同时生成高质量、多样化图像并保持准确类别控制的挑战。
• 开发一种多类别广义合页损失，使单个生成器-分类器对在监督与半监督设置下均能有效训练。
• 衡量并控制生成器与判别器更新过程中对类别的依赖程度，平衡图像保真度与多样性。
• 相比使用辅助分类器的现有 GAN 模型，在 ImageNet-128 上实现更高的训练稳定性和性能。

提出的方法

• 提出一种多类别合页损失，将标准合页损失推广至多类别，使判别器能够为每个类别学习多个分类边界。
• 采用投影判别器架构，并增加一个辅助全连接层用于类别预测，实现生成器与分类器的联合训练。
• 对投影判别器应用谱归一化，以稳定训练并提升收敛性。
• 每轮生成器训练仅执行一次判别器更新，相比需要多次 D 步骤的方法，显著加快训练速度。
• 提出 MHSharedGAN，通过在投影判别器与辅助分类器之间共享参数，实现参数效率，但以降低多样性为代价。
• 采用两阶段训练策略：先使用标准 GAN 损失进行预训练，随后切换至多合页损失，以快速提升 Inception Score 与 FID。

实验结果

研究问题

• RQ1 与标准合页损失相比，多类别合页损失是否能同时提升条件式 GAN 的图像质量与多样性？
• RQ2 在判别器与分类器之间共享参数时，对图像质量与多样性之间的权衡有何影响？
• RQ3 所提出的多合页损失是否能在 ImageNet-128 上的完全监督与半监督设置下均实现最先进性能？
• RQ4 每轮生成器训练仅使用一次 D 步骤，对训练速度与性能有何影响？
• RQ5 与 ACGAN 和 SAGAN 等现有方法相比，该多合页损失在 Inception Score 与 FID 上表现如何？

主要发现

• 在从 SAGAN 训练切换至 MHGAN 后，MHGAN 在 ImageNet-128 上实现了 169.68 的 Inception Score 与 8.87 的 FID，性能显著提升。
• 在半监督学习中，MHGAN-SSL 达到 (IS, FID) = (32.40, 26.12)，性能与 ACGAN-SSL 相当，但训练速度更快。
• MHSharedGAN 变体在参数共享后生成器多样性急剧下降，表明分类与判别任务的紧密耦合会损害样本多样性。
• 在 MHSharedGAN 下，投影判别器的特征谱从 Sigmoid 形状转变为指数形状，表明其退化至少数主导维度。
• 在训练 100 万步后，从标准 GAN 损失切换至多合页损失，仅用 5,000 次迭代，Inception Score 即提升 250%（从 47.79 提升至 169.68）。
• 在半监督设置下，该方法保持了高分类器准确率（验证准确率约 40%，自预测准确率 >80%），证实了生成与分类任务的有效联合学习。