[論文レビュー] R\'{e}nyi Generative Adversarial Networks

Himesh Bhatia, William Paul+3 more|arXiv (Cornell University)|Jun 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 3被引用数 2

ひとこと要約

本稿では、パラメータ $\alpha$ を用いた Rényi 情報測度に基づく生成対抗ネットワーク（GAN）損失関数を導入し、元の GAN 損失を一般化しつつも均衡点を保持する。この手法は訓練の安定性を向上させ、高品質な画像を生成し、64×64 の CelebA 画像において RenyiStyleGAN を用いて SOTA の FID スコア 8.33 を達成した。標準的な StyleGAN と比較すると、FID は 9.7 である。

ABSTRACT

We propose a loss function for generative adversarial networks (GANs) using Renyi information measures with parameter $\alpha$. More specifically, we formulate GAN's generator loss function in terms of Renyi cross-entropy functionals. We demonstrate that for any $\alpha$, this generalized loss function preserves the equilibrium point satisfied by the original GAN loss based on the Jensen-Renyi divergence, a natural extension of the Jensen-Shannon divergence. We also prove that the Renyi-centric loss function reduces to the original GAN loss function as $\alpha o 1$. We show empirically that the proposed loss function, when implemented on both DCGAN (with $L_1$ normalization) and StyleGAN architectures, confers performance benefits by virtue of the extra degree of freedom provided by the parameter $\alpha$. More specifically, we show improvements with regard to: (a) the quality of the generated images as measured via the Frechet Inception Distance (FID) score (e.g., best FID=8.33 for RenyiStyleGAN vs 9.7 for StyleGAN when evaluated over 64$ imes$64 CelebA images) and (b) training stability. While it was applied to GANs in this study, the proposed approach is generic and can be used in other applications of information theory to deep learning, e.g., AI bias or privacy.

研究の動機と目的

• 生成モデルの性能向上を目的として、Rényi 情報測度に基づく一般化された GAN 損失関数の開発。
• 追加のハイパーパramータ $\alpha$ を導入しつつも、元の GAN 損失の均衡点を維持すること。
• 提案された損失関数を DCGAN および StyleGAN アーキテクチャに対して実験的に評価し、画像品質および訓練安定性の向上を検証すること。
• Rényi 中心の損失関数が、情報理論的ディープラーニングの文脈において GAN を超える幅広い応用可能性を有するかを示すこと。

提案手法

• パラメータ $\alpha$ を用いた Rényi の交差エントロピー関数を用いて生成器の損失を定式化する。
• GAN フレームワークにおいて、Jensen-Shannon 散発度の自然な拡張として Rényi 散発度を用いる。
• 任意の $\alpha$ に対して、元の GAN の均衡条件が保持されることを証明する。
• $\alpha \to 1$ の極限において、Rényi 損失が元の GAN 損失に還元されることを示す。
• 実験的評価のため、DCGAN（$L_1$ 正規化を適用）および StyleGAN アーキテクチャにこの損失を適用する。
• 画像品質の定量的評価に、Frechet Inception Distance（FID）を用いる。

実験結果

リサーチクエスチョン

• RQ1 Rényi 散発度に基づく損失関数は、元の GAN の均衡点を保持しつつ、改善された訓練ダイナミクスを実現できるか？
• RQ2 ハイパーパramータ $\alpha$ は、GAN における生成画像の品質および安定性にどのように影響を与えるか？
• RQ3 Rényi 中心の損失関数は、標準的な GAN と比較して、FID スコアに測定可能な改善をもたらすか？
• RQ4 提案された損失関数は、情報理論を含む他のディープラーニングの応用に一般化可能か？

主な発見

• 提案された Rényi GAN 損失は、$\alpha$ の任意の値に対して、元の GAN の均衡点を保持する。
• パラメータ $\alpha$ が 1 に近づくと、Rényi 損失は元の GAN 損失に還元され、後方互換性が保証される。
• RenyiStyleGAN は、64×64 の CelebA 画像において FID スコア 8.33 を達成し、標準的な StyleGAN の FID 9.7 を上回った。
• DCGAN および StyleGAN アーキテクチャの両方において、訓練の安定性が向上した。
• $\alpha$ による追加の自由度のおかげで、最適化がより良く行われ、高品質な画像生成が可能になった。