[論文レビュー] Towards a Better Global Loss Landscape of GANs

Ruoyu Sun, Tiantian Fang+1 more|arXiv (Cornell University)|Nov 10, 2020

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

この論文はGANのグローバルな損失関数の形状を分析し、分離型GAN（JS-GANを含む）がモード崩壊に対応する指数的多数の最適でない局所的最小値を有することを証明する。一方で、相対的ペアリングGAN（RpGAN）がこれらの悪質な盆地を排除し、優れた最適化の形状を実現することを示している。その有効性は、狭いネットワークを用いた合成的および実世界の画像生成実験により実証されている。

ABSTRACT

Understanding of GAN training is still very limited. One major challenge is its non-convex-non-concave min-max objective, which may lead to sub-optimal local minima. In this work, we perform a global landscape analysis of the empirical loss of GANs. We prove that a class of separable-GAN, including the original JS-GAN, has exponentially many bad basins which are perceived as mode-collapse. We also study the relativistic pairing GAN (RpGAN) loss which couples the generated samples and the true samples. We prove that RpGAN has no bad basins. Experiments on synthetic data show that the predicted bad basin can indeed appear in training. We also perform experiments to support our theory that RpGAN has a better landscape than separable-GAN. For instance, we empirically show that RpGAN performs better than separable-GAN with relatively narrow neural nets. The code is available at https://github.com/AilsaF/RS-GAN.

研究の動機と目的

• GANのグローバル最適化の形状を理解すること、特にモード崩壊の原因を特定すること。
• 元来のJS-GANおよび関連する分離型GANが、損失関数の形状に最適でない局所的最小値を有するかどうかを分析すること。
• 相対的ペアリングGAN（RpGAN）がこれらの問題を引き起こす盆地を排除するかどうかを調査すること。
• 理論的知見を、合成データおよび実データを用いた実証的実験を通じて検証すること。
• RpGANの改善された形状が、特に狭いネットワークにおいて、より優れた性能にどのように結びつくかを特定すること。

提案手法

• 分離型GAN（JS-GAN、ハッチ損失、最小二乗GANを含む）の経験的損失関数の形状に対する理論的分析。
• 分離型GANが、それぞれがモード崩壊状況に対応する指数的多数の厳密な局所的最小値を有することの証明。
• RpGANの形式的分析により、実サンプルと生成サンプルをペアリングする相対的ペアリング機構のおかげで、RpGANには悪質な盆地がないことが示された。
• 予測された悪質な盆地がトレーニングダイナミクスに現れるかどうかを観察するための合成実験の設計。
• CNNおよびResNetアーキテクチャを用いたCIFAR-10、STL-10、LSUNにおける実証的評価（チャネルスケーリングを変化させた幅の異なるネットワークを用いて）。
• 同じトレーニング設定下でRpGANと分離型GANを比較し、特に狭いネットワークにおける汎化性能とトレーニング安定性に注目した。

実験結果

リサーチクエスチョン

• RQ1 元来のJS-GANは、グローバルに良好な損失関数の形状を有するのか、それとも指数的多数の最適でない局所的最小値が存在するのか？
• RQ2 RpGANの相対的ペアリング機構が、これらの悪質な盆地を排除し、グローバル最適化の形状を改善できるのか？
• RQ3 RpGANに悪質な盆地が存在しないという理論的予測が、実際のトレーニング行動にも現れるのか？
• RQ4 特に狭いニューラルネットワークを用いた場合に、RpGANは分離型GANを上回るトレーニング安定性とサンプル品質を示すのか？
• RQ5 RpGANの改善された形状が、生成サンプルの汎化性能と多様性の向上に寄与しているのか？

主な発見

• 分離型GAN（JS-GANを含む）は、損失関数の形状に指数的多数の厳密な局所的最小値を有し、それぞれがモード崩壊状況に対応する。
• RpGANには悪質な盆地が存在しないことが、理論的分析により証明された。これは、実サンプルと生成サンプルをペアリングする相対的ペアリング機構のおかげである。
• 合成実験により、分離型GANのトレーニング中に予測された悪質な盆地が実際に出現することが確認された。
• 実証的結果から、RpGANはCIFAR-10およびSTL-10において分離型GANを上回っていることが示され、特に狭いネットワークを用いた場合に理論的予測が裏付けられた。
• RpGANの改善された形状は、トレーニングの安定性とより優れたサンプルの多様性をもたらし、モデル容量が限られた状況でも有効である。
• コードと実験設定は公開されており、RpGANの再現性および標準GANとのさらなるベンチマークが可能である。