[论文解读] AutoGAN: Neural Architecture Search for Generative Adversarial Networks

Xinyu Gong, Shiyu Chang+2 more|arXiv (Cornell University)|Aug 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 67被引用 44

一句话总结

AutoGAN 引入用于 GAN 生成器的神经网络架构搜索（NAS），使用 RNN 控制器、多级架构搜索，以及带动态重置的参数共享，在 CIFAR-10 上实现了最前沿的 FID，并对 STL-10 有强转移能力。

ABSTRACT

Neural architecture search (NAS) has witnessed prevailing success in image classification and (very recently) segmentation tasks. In this paper, we present the first preliminary study on introducing the NAS algorithm to generative adversarial networks (GANs), dubbed AutoGAN. The marriage of NAS and GANs faces its unique challenges. We define the search space for the generator architectural variations and use an RNN controller to guide the search, with parameter sharing and dynamic-resetting to accelerate the process. Inception score is adopted as the reward, and a multi-level search strategy is introduced to perform NAS in a progressive way. Experiments validate the effectiveness of AutoGAN on the task of unconditional image generation. Specifically, our discovered architectures achieve highly competitive performance compared to current state-of-the-art hand-crafted GANs, e.g., setting new state-of-the-art FID scores of 12.42 on CIFAR-10, and 31.01 on STL-10, respectively. We also conclude with a discussion of the current limitations and future potential of AutoGAN. The code is available at https://github.com/TAMU-VITA/AutoGAN

研究动机与目标

• 推动在 GAN 中使用神经网络架构搜索（NAS），解决 GAN 训练中的不稳定性和搜索效率问题。
• 为生成器架构定义一个针对 GAN 的 NAS 搜索空间。
• 开发一个基于强化学习的控制器，具备参数共享和动态重置以引导搜索。
• 引入多级架构搜索（MLAS），分阶段逐步构建 GAN 生成器。
• 证明 AutoGAN 发现在 CIFAR-10 和 STL-10 上的生成器指标具有竞争力或优于现有方法。

提出的方法

• 定义一个面向生成器的 NAS 搜索空间，涵盖卷积块、上采样、归一化和跳跃连接。
• 使用带参数共享和动态重置的 RNN 控制器来提出候选生成器单元。
• 将 Inception Score (IS) 作为控制器优化的奖励，通过带移动均值基线和熵正则化的 REINFORCE 进行。
• 采用多级架构搜索（MLAS），通过束搜索分阶段扩展生成器和判别器。
• 在控制器更新之间，训练一个共享 GAN：判别器使用铰链损失和谱归一化。
• 通过 IS（代理任务）评估候选架构，随后从头训练前K个模型以进行最终的 IS/FID 报告。

实验结果

研究问题

• RQ1 NAS 能否发现超越手工设计的 GAN 生成器架构，用于无条件图像生成？
• RQ2 与单级搜索相比，分阶段、渐进式的搜索策略是否能提升 GAN 的 NAS 成果？
• RQ3 当架构从头训练时，代理任务 IS 是否能可靠预测最终的 GAN 性能（IS/FID）？
• RQ4 AutoGAN 发现的架构在数据集之间的迁移性如何（CIFAR-10 到 STL-10）？

主要发现

Method	Inception score	FID
DCGAN	6.64±0.14	-
Improved GAN	6.86±0.06	-
LRGAN	7.17±0.17	-
DFM	7.72±0.13	-
ProbGAN	7.75	24.60
WGAN-GP, ResNet	7.86±0.07	-
Splitting GAN	7.90	-
SN-GAN	8.22±0.05	21.70±0.01
MGAN	8.33	26.70
Dist-GAN	-	17.61±0.30
Progressive GAN	8.80±0.05	-
Improving MMD GAN	8.29	16.21
AutoGAN-top1 (Ours)	8.55±0.10	12.42
AutoGAN-top2	8.42±0.07	13.67
AutoGAN-top3	8.41±0.11	13.87
AutoGAN-STL-10 (transfered CIFAR-10 arch)	9.16±0.12	31.01

• AutoGAN 发现的生成器架构包含 3 个卷积块，偏好前置激活块和最近邻上采样，倾向于省略归一化并包含密集跳跃连接。
• 在 CIFAR-10 上，AutoGAN-top1 获得 Inception score 8.55 和 FID 12.42，比多种手工设计的 GAN 在 FID 上表现更好，且接近最高 IS。
• 在 STL-10 上，AutoGAN（使用 CIFAR-10 架构训练）达到 Inception score 9.16 和 FID 31.01，表明良好的迁移性，并在此设定下达到最先进的 FID。
• MLAS 在 IS 增长和最终性能方面都优于单级搜索（SLAS），并且 MLAS 实现了更快的渐进式优化。
• 基于代理 IS 的奖励与真实评估（Spearman 0.779）呈正相关，支持代理任务的有效性。
• 带参数共享的动态重置在不牺牲最终性能的前提下加速了 AutoGAN。