[論文レビュー] Cumulant GAN.

Yannis Pantazis, Dipjyoti Paul+3 more|arXiv (Cornell University)|Jun 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 62被引用数 4

ひとこと要約

本稿では、積率母関数に基づく累積量生成関数を用いた、Rényi散発最小化を統合する新規GAN損失関数であるCumulant GANを提案する。KLD、逆KLD、ヘルンバーガー距離、χ²散発を含む。線形判別器とガウス分布データの下で、標準的勾配降下上昇法を用いた場合、ナッシュ均衡への線形収束を証明し、InceptionスコアおよびFrećhet Inception距離において、Wasserstein GANを上回る画像生成の安定性と性能を示す。

ABSTRACT

In this paper, we propose a novel loss function for training Generative Adversarial Networks (GANs) aiming towards deeper theoretical understanding as well as improved stability and performance for the underlying optimization problem. The new loss function is based on cumulant generating functions giving rise to \emph{Cumulant GAN}. Relying on a recently-derived variational formula, we show that the corresponding optimization problem is equivalent to R{\'e}nyi divergence minimization, thus offering a (partially) unified perspective of GAN losses: the R{\'e}nyi family encompasses Kullback-Leibler divergence (KLD), reverse KLD, Hellinger distance and $\chi^2$-divergence. Wasserstein GAN is also a member of cumulant GAN. In terms of stability, we rigorously prove the linear convergence of cumulant GAN to the Nash equilibrium for a linear discriminator, Gaussian distributions and the standard gradient descent ascent algorithm. Finally, we experimentally demonstrate that image generation is more robust relative to Wasserstein GAN and it is substantially improved in terms of both inception score and Fr\'echet inception distance when both weaker and stronger discriminators are considered.

研究の動機と目的

• 訓練の安定性と性能を向上させる理論的根拠に基づいたGAN損失関数の開発。
• 変分公式を用いて、累積量母関数を介して、既存のGAN損失をRényi散発フレームワークに統合すること。
• GAN学習における最適化プロセスの理論的収束保証の確立。
• 多様な判別器強度における、生成品質の実験的妥当性の検証。

提案手法

• 累積量母関数から導出された変分公式を用いて、新しいGAN損失関数を定義する。
• この損失関数がRényi散発最小化と等価であることを示し、複数の既存GAN目的を統合する。
• 標準的勾配降下上昇法を用い、線形判別器とガウス分布データの下で、ナッシュ均衡への線形収束を理論的に証明する。
• フレームワークはWasserstein GANを特別なケースとして含み、その理論的基盤を拡張する。
• 弱い・強い両方の判別器においても安定な学習が可能である。
• 実験的評価では、画像生成品質の評価にInceptionスコアおよびFrećhet Inception距離を用いる。

実験結果

リサーチクエスチョン

• RQ1 累積量母関数を用いて、GAN損失の統一的理論的枠組みを構築できるか？
• RQ2 提案された累積量ベースの損失は、標準的学習ダイナミクス下でナッシュ均衡への線形収束を保証するか？
• RQ3 画像品質指標の観点から、Cumulant GANはWasserstein GANに比べて性能に優れているか？
• RQ4 弱いかつ強い判別器を用いた場合、本手法は安定性を維持し、性能を向上させられるか？
• RQ5 Rényi散発族は、提案されたCumulant GANフレームワークに完全に含まれるか？

主な発見

• Cumulant GANは、Kullback-Leibler散発、逆KLD、ヘルンバーガー距離、χ²散発を含む、複数のGAN損失をRényi散発最小化フレームワークに統合する。
• 標準的勾配降下上昇法を用い、線形判別器とガウス分布データの下で、ナッシュ均衡への線形収束を理論的に証明する。
• 弱いかつ強い判別器設定の両方において、Cumulant GANはWasserstein GANに比べて画像生成のロバスト性が向上している。
• Cumulant GANはWasserstein GANに比べ、顕著に高いInceptionスコアおよびFrećhet Inception距離を達成する。
• Wasserstein GANは形式的にCumulant GANフレームワーク内の特別なケースとして示され、その理論的基盤が拡張される。
• 提案された損失関数は、アーキテクチャの変更なしに、学習の安定性と生成性能を向上させる。