[论文解读] AGAN: Towards Automated Design of Generative Adversarial Networks

Hanchao Wang, Jun Huan|arXiv (Cornell University)|Jun 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 39

一句话总结

AGAN 提供了首个专为 GANs 设计的神经网络架构搜索方法，采用强化学习自动设计生成器和判别器的架构，使其在 CIFAR-10 上达到与人工设计模型相比具竞争力甚至优越的性能，并具备对 STL-10 的迁移能力。

ABSTRACT

Recent progress in Generative Adversarial Networks (GANs) has shown promising signs of improving GAN training via architectural change. Despite some early success, at present the design of GAN architectures requires human expertise, laborious trial-and-error testings, and often draws inspiration from its image classification counterpart. In the current paper, we present the first neural architecture search algorithm, automated neural architecture search for deep generative models, or AGAN for abbreviation, that is specifically suited for GAN training. For unsupervised image generation tasks on CIFAR-10, our algorithm finds architecture that outperforms state-of-the-art models under same regularization techniques. For supervised tasks, the automatically searched architectures also achieve highly competitive performance, outperforming best human-invented architectures at resolution $32 imes32$. Moreover, we empirically demonstrate that the modules learned by AGAN are transferable to other image generation tasks such as STL-10.

研究动机与目标

• 激励自动化 GAN 架构设计，以减少对人类专业知识和试错的依赖。
• 开发一个基于强化学习的 NAS 框架，专门用于 GAN（生成器和判别器）。
• 探索一个包含上采样、下采样和普通模块的 GAN 模块化搜索空间。
• 证明所发现的 AGAN 架构在相同正则化条件下能与人类设计的 GAN 相媲美甚至胜出。
• 研究所学模块对其他数据集（如 STL-10）的可迁移性。

提出的方法

• 使用一个控制器 RNN（两层 LSTM，分为三个段）来为生成器和判别器采样 GAN 架构。
• 定义一个全面的搜索空间，包括上采样、下采样和普通模块，具有多种操作（例如卷积、可分离卷积、池化，以及上/下采样方案）。
• 使用铰链损失 GAN 目标训练架构，并以 Inception Score (IS) 作为奖励信号进行评估。
• 应用 REINFORCE 根据归一化的 IS 调整奖励来更新控制器参数，引导搜索朝向有潜力的架构。
• 固定元架构细节（生成器具有 3 个上采样模块；判别器有一个卷积、2 个下采样模块、2 个普通模块、全局求和池化，以及一个线性层）。
• 通过在 STL-10 上测试学得的模块并相应调整输入尺寸，证明可迁移性。

实验结果

研究问题

• RQ1 基于强化学习的 NAS 能否发现在人类设计模型下在同样正则化条件下相媲美或超越的人造 GAN 架构？
• RQ2 自动优化时，哪些模块化 GAN 架构（上采样、下采样、普通模块）显现出有效性？
• RQ3 学得的结构模块是否可以在相关的图像生成任务间迁移（如 CIFAR-10 到 STL-10）？
• RQ4 通过 Inception Score 的奖励塑形如何影响 NAS 的效率和搜索结果？
• RQ5 NAS 发现的 GAN cell 与传统 GAN 架构之间有哪些定性差异？

主要发现

• AGAN 识别出三种新颖的模块化架构（AGAN-A、AGAN-B、AGAN-C），其性能与最先进的 GANs 相竞争。
• 在 CIFAR-10 无监督生成中，AGAN-C 在相同正则化条件下优于最先进的模型。
• 在监督的 CIFAR-10 生成中，AGAN-A、AGAN-B、AGAN-C 的 Inception Scores 与 FID 指标与许多人工设计架构相当甚至超越，其中 AGAN-B 达到 IS 8.82±0.09，FID 23.8。
• 学得的模块可迁移到 STL-10，在适当输入尺寸调整下保持较强性能（例如 AGAN-A 9.23 IS，52.7 FID；AGAN-C 8.97 IS，57.4 FID；AGAN-B 7.84 IS，71.8 FID）。
• 控制器的操作分布在不同模块类型（上采样、下采样、普通）之间存在差异，支持在 GAN 设计中进行模块化搜索的必要性。
• 发现的单元类似于 inception-ResNet 的混合结构，表明用于 GAN 的优化架构可能与判别任务的架构有显著偏离。