[論文レビュー] Implicit competitive regularization in GANs

Florian Schaefer, Hongkai Zheng+1 more|arXiv (Cornell University)|Oct 13, 2019

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

この論文は、GANの成功が明示的な発散最小化によるものではなく、同時に生成器と識別器を訓練することから生じる動的で出現的な正則化効果（ICR）に起因すると主張している。競合勾配降下法（CGD）を用いることでICRを強化し、明示的正則化を一切用いずにCIFAR10でSOTAのインceptionスコアを達成した。これはハイパーパrameterチューニングなしでAdamを用いた標準的なWGAN-GPを上回った。

ABSTRACT

To improve the stability of GAN training we need to understand why they can produce realistic samples. Presently, this is attributed to properties of the divergence obtained under an optimal discriminator. This argument has a fundamental flaw: If we do not impose regularity of the discriminator, it can exploit visually imperceptible errors of the generator to always achieve the maximal generator loss. In practice, gradient penalties are used to regularize the discriminator. However, this needs a metric on the space of images that captures visual similarity. Such a metric is not known, which explains the limited success of gradient penalties in stabilizing GANs. We argue that the performance of GANs is instead due to the implicit competitive regularization (ICR) arising from the simultaneous optimization of generator and discriminator. ICR promotes solutions that look real to the discriminator and thus leverages its inductive biases to generate realistic images. We show that opponent-aware modelling of generator and discriminator, as present in competitive gradient descent (CGD), can significantly strengthen ICR and thus stabilize GAN training without explicit regularization. In our experiments, we use an existing implementation of WGAN-GP and show that by training it with CGD we can improve the inception score (IS) on CIFAR10 for a wide range of scenarios, without any hyperparameter tuning. The highest IS is obtained by combining CGD with the WGAN-loss, without any explicit regularization.

研究の動機と目的

• GANの成功が最適な識別器下での特定の発散に起因するとされる一般的なミニマックス解釈に挑戦すること。
• ミニマックスアプローチの根本的欠陥を特定すること：正則性制約がない場合、識別器は人間が認識できない生成器の誤差を最大の損失を得るために利用でき、その結果、発散は生成器の品質を比較する意味を持たなくなること。
• 生成器と識別器の同時訓練から生じる動的で出現的な効果である暗黙の競合正則化（ICR）こそが、GAN性能の真の駆動要因であると提唱すること。
• 相手に意識的な訓練手法（例：競合勾配降下法：CGD）がICRを顕著に強化し、明示的正則化なしに訓練の安定性と画像品質が向上することを示すこと。
• 実験的に、CGDを用いたWGAN-GP損失がハイパーパrameterチューニングなしで、標準的なAdamベースの訓練よりも高いインセプションスコアとFIDを達成することを検証すること。

提案手法

• 生成器と識別器の同時最適化から生じる安定した訓練点を特徴づけるメカニズムとして、暗黙の競合正則化（ICR）を導入する。
• ICRを、局所的なナッシュ均衡ではなく、競合的相互作用に起因する安定した訓練ダイナミクスの出現として形式化し、GANジレンマを克服するために不可欠であると主張する。
• 相手の最適化ダイナミクスを明示的にモデル化することでICRを強化する訓練アルゴリズムとして、競合勾配降下法（CGD）を用いる。
• CGDを、元の飽和GAN損失を用いたWGAN-GPに適用し、勾配ペナルティや重み減衰を回避することで、ICRの効果を隔離する。
• インセプションスコア（IS）とFrechet Inception Distance（FID）を用いて性能を評価し、CIFAR10におけるCGDと標準的なAdamベースの訓練を比較する。
• OGANおよびWGAN-GPにおけるアブレーションスタディを実施し、正則化条件の変化（正則化なし、ℓ2重み減衰など）下でのCGDのロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜ明示的正則化が存在しないにもかかわらずGANは一般化がうまくいくのか？ なぜ一般的な発散はその成功を説明できないのか？
• RQ2 静的ミニマックス目的を超えた、生成器と識別器の動的相互作用が、GAN性能を説明できるのか？
• RQ3 同時に訓練されることから、暗黙の競合正則化（ICR）が出現するのか？ そして、明示的正則化なしにGANを安定化させられるのか？
• RQ4 相手に意識的な最適化手法（例：CGD）がICRを強化し、標準的な最適化法よりも優れたGAN訓練結果をもたらすのか？
• RQ5 CGDベースの訓練で明示的正則化が欠落している場合でも、Adamを用いたWGAN-GPのような標準的手法よりも優れた画像品質が得られるのか？

主な発見

• 勾配ペナルティや重み減衰を含む他のすべての組み合わせよりも、明示的正則化なしにCGDを用いてWGAN-GPを訓練した場合、CIFAR10におけるインセプションスコアが最も高かった。
• CGDによる性能向上は、スコアの指標に一貫して現れ、Frechet Inception Distance（FID）も顕著に低く、画像品質の向上が確認された。
• Adamが完全に失敗する原因となる元の飽和GAN損失を用いても、CGDは安定に動作し、インセプションスコアでAdamを上回った。
• ACGD（加速CGD）は、すべてのモデルとイテレーションにおいてAdamを上回る体系的な性能向上を示したが、極端な場合（例：正則化なしのOGAN）ではまれに発散した。
• ACGDとAdamの間のインセプションスコアの差は、訓練の全期間にわたり正であり、ACGDが一貫してAdamを上回っていることが示された。
• 結果から、CGDによって強化された暗黙の競合正則化（ICR）が、GAN成功の鍵要因であることが明らかになった。これは、同時に訓練するダイナミクスが、発散の選択や明示的正則化よりも重要であることを示唆している。