[论文解读] AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks

Yuesong Tian, Shen Li+4 more|arXiv (Cornell University)|Jun 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 64被引用 9

一句话总结

AlphaGAN 提出了一种用于生成对抗网络（GANs）的完全可微神经架构搜索框架，将架构搜索建模为双层极小极大优化问题，通过优化生成器架构以达到纯粹纳什均衡。该方法仅用 3 个 GPU 小时即在 CelebA 上取得 1.94 的 SOTA FID 分数，在 LSUN-church 上取得 2.86，在 FFHQ 上取得 2.75，证明了其在 GAN 架构发现方面的高效与有效。

ABSTRACT

Generative Adversarial Networks (GANs) are formulated as minimax game problems, whereby generators attempt to approach real data distributions by virtue of adversarial learning against discriminators. The intrinsic problem complexity poses the challenge to enhance the performance of generative networks. In this work, we aim to boost model learning from the perspective of network architectures, by incorporating recent progress on automated architecture search into GANs. To this end, we propose a fully differentiable search framework for generative adversarial networks, dubbed alphaGAN. The searching process is formalized as solving a bi-level minimax optimization problem, in which the outer-level objective aims for seeking a suitable network architecture towards pure Nash Equilibrium conditioned on the generator and the discriminator network parameters optimized with a traditional GAN loss in the inner level. The entire optimization performs a first-order method by alternately minimizing the two-level objective in a fully differentiable manner, enabling architecture search to be completed in an enormous search space. Extensive experiments on CIFAR-10 and STL-10 datasets show that our algorithm can obtain high-performing architectures only with 3-GPU hours on a single GPU in the search space comprised of approximate 2 ? 1011 possible configurations. We also provide a comprehensive analysis on the behavior of the searching process and the properties of searched architectures, which would benefit further research on architectures for generative models. Pretrained models and codes are available at https://github.com/yuesongtian/AlphaGAN.

研究动机与目标

• 为解决 GAN 中因非凸、非凹极小极大优化景观而导致的人工、专家驱动的架构设计挑战，该过程耗时且复杂。
• 克服现有 GAN NAS 方法的局限性，这些方法依赖于不可微的指标（如 FID 和 IS），导致端到端优化效率低下且不稳定。
• 开发一种通用、任务无关的框架，通过直接优化 GAN 训练过程中的纯粹纳什均衡，搜索高性能生成器架构。
• 在标准 GAN 和 SOTA 模型（如 StyleGAN2）上验证该框架的有效性，在多个基准数据集上实现卓越性能。

提出的方法

• 将架构搜索过程建模为双层极小极大优化问题，外层优化生成器架构参数以逼近纯粹纳什均衡，内层在当前架构下优化生成器和判别器权重。
• 引入基于对偶间隙的可微评估指标，引导搜索过程趋向纳什均衡，实现通过架构搜索过程的端到端反向传播。
• 采用一阶随机梯度方法交替最小化外层和内层目标，确保在约 2×10^11 种配置的庞大搜索空间中实现完全可微与高效优化。
• 将该框架应用于标准 GAN 和 StyleGAN2，搜索空间包括卷积操作（如 3x3、5x5）、上采样方法（如 nearest_conv、bilinear_conv）以及动态风格注入模块。
• 采用基于梯度的可微搜索策略，避免强化学习或基于强化学习的搜索，实现稳定且可扩展的架构发现。
• 采用折中策略，仅搜索生成器架构，因为联合搜索生成器和判别器会导致复杂度增加且结果次优。

实验结果

研究问题

• RQ1 能否设计一种完全可微的 GAN 架构搜索框架，直接优化纳什均衡，避免依赖不可微指标？
• RQ2 所提出的双层极小极大优化框架在有限搜索时间内发现高性能 GAN 架构的效率如何？
• RQ3 该框架是否能提升标准 GAN 和 SOTA 模型（如 StyleGAN2）的性能，特别是在 FID 分数方面？
• RQ4 在不同数据集上，搜索过程中涌现出的架构模式是什么，它们与性能有何关联？
• RQ5 该框架能否发现轻量化但高性能的架构，还是性能提升以参数量增加为代价？

主要发现

• AlphaGAN 在 CelebA 上取得 1.94 的 SOTA FID 分数，在 LSUN-church 上为 2.86，在 FFHQ 上为 2.75，相较于基线 StyleGAN2 相对提升达 3% 至 26%。
• 该方法仅用 3 个 GPU 小时即发现高性能架构，尽管搜索空间约为 2×10^11 种配置，仍表现出极高效率。
• 在 FFHQ 上，大卷积核（如 5x5）卷积和上采样方法（如 'nearest_conv' 和 'bilinear_conv'）被持续偏好，表明其在高保真图像生成中的重要性。
• 在 FFHQ 上采用 'micro' 和 'micro + dynamic {W_i}' 搜索范式的表现优于原始 StyleGAN2，表明对生成器的架构修改可显著提升生成质量。
• 搜索过程显示，随着对偶间隙减小（表明向纳什均衡靠近），所发现的生成器架构质量提升，验证了该框架设计的有效性。
• 尽管取得成功，该框架在 StyleGAN2 上仍难以生成性能更优的轻量化生成器，表明性能与参数效率之间存在权衡，该问题仍为开放挑战。