[論文レビュー] AutoGAN: Neural Architecture Search for Generative Adversarial Networks

Xinyu Gong, Shiyu Chang+2 more|arXiv (Cornell University)|Aug 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 67被引用数 44

ひとこと要約

AutoGANはRNNコントローラ、マルチレベルアーキテクチャ探索、および動的リセットを伴うパラメータ共有を用いてGANジェネレータのニューラルアーキテクチャ探索を導入し、CIFAR-10でのFIDを最先端に達成し、STL-10への転移性能も高い。

ABSTRACT

Neural architecture search (NAS) has witnessed prevailing success in image classification and (very recently) segmentation tasks. In this paper, we present the first preliminary study on introducing the NAS algorithm to generative adversarial networks (GANs), dubbed AutoGAN. The marriage of NAS and GANs faces its unique challenges. We define the search space for the generator architectural variations and use an RNN controller to guide the search, with parameter sharing and dynamic-resetting to accelerate the process. Inception score is adopted as the reward, and a multi-level search strategy is introduced to perform NAS in a progressive way. Experiments validate the effectiveness of AutoGAN on the task of unconditional image generation. Specifically, our discovered architectures achieve highly competitive performance compared to current state-of-the-art hand-crafted GANs, e.g., setting new state-of-the-art FID scores of 12.42 on CIFAR-10, and 31.01 on STL-10, respectively. We also conclude with a discussion of the current limitations and future potential of AutoGAN. The code is available at https://github.com/TAMU-VITA/AutoGAN

研究の動機と目的

• GANに対するニューラルアーキテクチャ探索（NAS）の活用を動機づけ、GAN訓練における不安定さと探索効率の問題に対処する。
• ジェネレーターアーキテクチャ向けのGAN特化NAS探索空間を定義する。
• 探索を導くためにパラメータ共有と動的リセットを備えた強化学習ベースのコントローラを開発する。
• GANジェネレータを段階的に構築するマルチレベルアーキテクチャ探索（MLAS）を導入する。
• AutoGANで発見されたアーキテクチャがCIFAR-10およびSTL-10で競争力のあるまたは優れたGAN指標を達成することを示す。

提案手法

• 畳み込みブロック、アップサンプリング、正規化、スキップ接続にまたがるジェネレーター中心のNAS探索空間を定義する。
• パラメータ共有と動的リセットを備えたRNNコントローラを用いて候補ジェネレーターセルを提案する。
• 移動平均ベースラインとエントロピー正則化を用いたREINFORCEによるコントローラ最適化の報酬としてInception Score (IS)を採用する。
• ビーム探索を用いて段階的にジェネレータとディスクリータを成長させるマルチレベルアーキテクチャ探索（MLAS）を採用する。
• コントローラ更新と交互に、ディスクリミネータにヒンジ損失とスペクトル正規化を適用した共有GANを訓練する。
• IS（プロキシタスク）で候補アーキテクチャを評価し、その後上位Kモデルを最初から訓練して最終的なIS/FIDを報告する。

実験結果

リサーチクエスチョン

• RQ1 NASは条件なしの画像生成で手作りデザインを上回るGANジェネレータアーキテクチャを発見できるか？
• RQ2 マルチレベルで段階的な探索戦略は単一レベルの探索と比べてGANのNAS結果を改善するか？
• RQ3 プロキシタスクISはアーキテクチャをゼロから訓練した場合の最終的なGAN性能（IS/FID）の信頼できる予測か？
• RQ4 AutoGANで発見されたアーキテクチャはデータセット間でどれだけ転移するか（CIFAR-10からSTL-10へ）？

主な発見

手法	Inception score	FID
DCGAN	6.64±0.14	-
Improved GAN	6.86±0.06	-
LRGAN	7.17±0.17	-
DFM	7.72±0.13	-
ProbGAN	7.75	24.60
WGAN-GP, ResNet	7.86±0.07	-
Splitting GAN	7.90	-
SN-GAN	8.22±0.05	21.70±0.01
MGAN	8.33	26.70
Dist-GAN	-	17.61±0.30
Progressive GAN	8.80±0.05	-
Improving MMD GAN	8.29	16.21
AutoGAN-top1 (Ours)	8.55±0.10	12.42
AutoGAN-top2	8.42±0.07	13.67
AutoGAN-top3	8.41±0.11	13.87
AutoGAN-STL-10 (transfered CIFAR-10 arch)	9.16±0.12	31.01

• AutoGANはプレアクティベーションブロックを優先し最近傍アップサンプリングを好む3つの畳み込みブロックを備え、正規化を省く傾向と密なスキップ接続を含む傾向を示す。
• CIFAR-10ではAutoGAN-top1がInception score 8.55とFID 12.42を達成し、FIDでいくつかの手作りGANを上回り、最上位ISに近い。
• STL-10ではAutoGAN（CIFAR-10アーキテクチャで訓練）がInception score 9.16とFID 31.01を達成し、この設定での転移性と最先端FIDを示唆。
• MLASは単一レベル探索（SLAS）を上回り、ISの成長と最終性能の両方で優れており、MLASはより速く段階的な最適化を可能にする。
• 代理ISベース報酬は真の評価（Spearman 0.779）と正の相関を示し、 proxyタスクの有効性を支持する。
• パラメータ共有とダイナミックリセットを組み合わせることで、最終性能を損なうことなくAutoGANを高速化する。