[論文レビュー] AdversarialNAS: Adversarial Neural Architecture Search for GANs

Chen Gao, Yunpeng Chen+3 more|arXiv (Cornell University)|Dec 4, 2019

Advanced Neural Network Applications参考文献 53被引用数 13

ひとこと要約

AdversarialNAS は、FID や IS といった高コストな評価指標を必要とせず、敵対的探索メカニズムを通じて生成器と判別器のアーキテクチャを同時に最適化する微分可能で勾配ベースの GAN 用ニューラルアーキテクチャ探索手法である。CIFAR-10 においては、FID 10.87、Inception Score 8.74 の最先端性能を達成しており、巨大な探索空間（$10^{38}$）においても 1 GPU 日間の探索時間で実現可能である。

ABSTRACT

Neural Architecture Search (NAS) that aims to automate the procedure of architecture design has achieved promising results in many computer vision fields. In this paper, we propose an AdversarialNAS method specially tailored for Generative Adversarial Networks (GANs) to search for a superior generative model on the task of unconditional image generation. The AdversarialNAS is the first method that can search the architectures of generator and discriminator simultaneously in a differentiable manner. During searching, the designed adversarial search algorithm does not need to comput any extra metric to evaluate the performance of the searched architecture, and the search paradigm considers the relevance between the two network architectures and improves their mutual balance. Therefore, AdversarialNAS is very efficient and only takes 1 GPU day to search for a superior generative model in the proposed large search space ($10^{38}$). Experiments demonstrate the effectiveness and superiority of our method. The discovered generative model sets a new state-of-the-art FID score of $10.87$ and highly competitive Inception Score of $8.74$ on CIFAR-10. Its transferability is also proven by setting new state-of-the-art FID score of $26.98$ and Inception score of $9.63$ on STL-10. Code is at: \url{https://github.com/chengaopro/AdversarialNAS}.

研究の動機と目的

• FID や IS といった高コストな指標を報酬として使用する既存の GAN 用 NAS 手法における非効率性とアーキテクチャの非対称性を解消すること。
• FID や IS のような高コストな指標計算を伴う強化学習を排除し、判別器自体を微分可能な監視信号として用いること。
• 敵対的アプローチで生成器と判別器のアーキテクチャを動的に同時に探索することで、両者の相互的なバランスを向上させること。
• GAN における無条件画像生成のための効率的でスケーラブルかつ転送可能なアーキテクチャ発見を可能にすること。

提案手法

• 微分可能な探索を可能にする連続的な変数でパrameter化された巨大で連続的な探索空間（$10^{38}$）を設計する。
• 生成器のアーキテクチャパラメータを確率的勾配降下法で更新するために、判別器の本物/偽物損失を勾配信号として用いる。
• 生成器の損失を用いて判別器のアーキテクチャを同時に更新することで、敵対的フィードバックを通じた相互改善を実現する。
• 探索中に生成器と判別器のアーキテクチャを競争的・敵対的なループで交互に更新する、交替的探索戦略を実装する。
• 探索プロセスを GAN 訓練パイプラインに直接統合し、別々の訓練・評価サイクルを回避する。
• 外部指標（FID や IS など）の必要性を回避するため、判別器の内部勾配を性能評価の代理として活用する。

実験結果

リサーチクエスチョン

• RQ1 探索中に高コストな指標計算を回避できる、GAN 用の微分可能で勾配ベースの NAS 手法を設計可能か？
• RQ2 生成器と判別器のアーキテクチャを敵対的に同時に探索することで、固定判別器アプローチと比較して性能と安定性がどのように向上するか？
• RQ3 発見されたアーキテクチャは、CIFAR-10 から STL-10 への移行において、どの程度一般化可能か？
• RQ4 特に判別器を固定した場合にモデル容量を拡大しても、そのアーキテクチャはどの程度頑健か？
• RQ5 敵対的探索メカニズムは、手作業で設計されたものや強化学習ベースの NAS と比較して、より優れたアーキテクチャ的バランスと優れたサンプル品質をもたらすか？

主な発見

• AdversarialNAS は、CIFAR-10 で FID 10.87、Inception Score 8.74 を達成し、過去のすべての手作業設計および自動発見手法を上回る最先端性能を実現した。
• STL-10 では、FID 26.98、Inception Score 9.63 という新たな最先端記録を樹立し、優れた転送性を示した。
• 探索プロセスは極めて効率的であり、$10^{38}$ の巨大な探索空間においても、1 GPU 日間で優れたアーキテクチャを発見できた。
• 発見された生成器は、1 MB から 25 MB の広いモデルサイズ範囲においても安定した性能を維持し、SNGAN や AutoGAN と比較して優れたスケーラビリティと頑健性を示した。
• 判別器を固定した場合、生成器のスケーリングに伴い性能が著しく低下するが、AdversarialNAS では一貫した性能を維持しており、より優れたアーキテクチャ的バランスを示している。
• アブレーションスタディの結果、敵対的共同探索メカニズムが、固定判別器や単一アーキテクチャ探索戦略と比較して、顕著に性能を向上させていることが確認された。