[論文レビュー] The relativistic discriminator: a key element missing from standard GAN

Alexia Jolicoeur‐Martineau|arXiv (Cornell University)|Jul 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 580

ひとこと要約

本論文は相対論的識別器（RGANs および RaGANs）を導入し、実データと偽データを一緒に比較することで、GANのさまざまな変種と損失関数全体の安定性とサンプル品質を向上させ、CIFAR-10およびCATデータセットで強い実証的改善を示す。

ABSTRACT

In standard generative adversarial network (SGAN), the discriminator estimates the probability that the input data is real. The generator is trained to increase the probability that fake data is real. We argue that it should also simultaneously decrease the probability that real data is real because 1) this would account for a priori knowledge that half of the data in the mini-batch is fake, 2) this would be observed with divergence minimization, and 3) in optimal settings, SGAN would be equivalent to integral probability metric (IPM) GANs. We show that this property can be induced by using a relativistic discriminator which estimate the probability that the given real data is more realistic than a randomly sampled fake data. We also present a variant in which the discriminator estimate the probability that the given real data is more realistic than fake data, on average. We generalize both approaches to non-standard GAN loss functions and we refer to them respectively as Relativistic GANs (RGANs) and Relativistic average GANs (RaGANs). We show that IPM-based GANs are a subset of RGANs which use the identity function. Empirically, we observe that 1) RGANs and RaGANs are significantly more stable and generate higher quality data samples than their non-relativistic counterparts, 2) Standard RaGAN with gradient penalty generate data of better quality than WGAN-GP while only requiring a single discriminator update per generator update (reducing the time taken for reaching the state-of-the-art by 400%), and 3) RaGANs are able to generate plausible high resolutions images (256x256) from a very small sample (N=2011), while GAN and LSGAN cannot; these images are of significantly better quality than the ones generated by WGAN-GP and SGAN with spectral normalization.

研究の動機と目的

• 標準的なGAN識別器がミニバッチの構成（半分は実データ、半分は偽データ）に関連する重要な特性を見逃している理由を動機づける。
• 実データと偽データを jointly 比較する相対論的識別器の概念を提案し、発散の最小化とより良く整合する。
• 相対論的アイデアを非標準のGAN損失に一般化し、Relativistic GANs (RGANs) および Relativistic average GANs (RaGANs) を定義する。
• データセットとアーキテクチャを跨いだ安定性とデータ品質の empirical benefits を示す。

提案手法

• 相対論的識別器 D を定義し、実サンプルがランダムにサンプルされた偽サンプルより現実的である確率を出力するようにする。D( x_r, x_f ) = sigmoid(C(x_r) - C(x_f))。
• D と G の損失が実データと偽データのクリティック値の差に依存する Relativistic Standard GAN (RSGAN) 損失を導出する。
• 一般的な損失形 F と G を用いた Relativistic GANs (RGANs) に拡張し、IPM ベースの GANs が恒等関数を用いるときのサブセットであることを示す；非飽和版を導入する。
• Relativistic average GANs (RaGANs) を導入し、データを相対の対向タイプのバッチ平均と比較することで RaSGAN、RaLSGAN、RaHingeGAN 及びその GAN 変種を生み出す。
• 非飽和な RGANs および RaGANs の訓練アルゴリズム（Algorithm 1 および Algorithm 2）を提供する。
• 標準的なアーキテクチャを用いて CIFAR-10 と CAT で評価し、主指標として Fréchet Inception Distance (FID) を用いる。

実験結果

リサーチクエスチョン

• RQ1 実データと偽データを相対論的に比較することは、GAN の安定性とサンプル品質を改善するか。
• RQ2 RGANs および RaGANs は従来の SGAN、LSGAN、WGAN 系と比較して標準的および非標準的な損失でどのように性能を発揮するか。
• RQ3 相対論的識別器はより高解像度や小規模データセットで高品質な生成を可能にするか。
• RQ4 相対論的平均化（RaGAN）と点ごとの相対論的識別（RGAN）とで訓練ダイナミクスにどのような影響があるか。
• RQ5 限られたデータや高解像度などの難しい設定で訓練の不安定さを相対論的アプローチは低減できるか。

主な発見

• RGANs および RaGANs は、非相対論的な対応物よりも一般に安定性が高く、より高品質なサンプルを得られる。
• 勾配ペナルティ付き Relativistic SGAN (RSGAN-GP) は、FID が CIFAR-10 で単一のディスクリミネータ更新ごとに生成器更新を行う設定で、FID 25.60 のような最先端に近い性能を達成。
• CIFAR-10 では RaLSGAN および RaSGAN は多くの安定な設定で非相対論的版より改善され、RaSGAN-GP も強力な性能を示す。
• 難しい CAT データセットでは RaGANs が 64x64, 128x128, 256x256 の解像度で最小値・平均 FID を低く、SD も低い結果を示す；SGAN および LSGAN は高解像度で収束しない。
• RaGANs は非常に難しい高解像度の CAT 生成タスクにおいて、スペクトル正規化や勾配ペナルティのベースラインを上回ることが多い。