[論文レビュー] Your GAN is Secretly an Energy-based Model and You Should use Discriminator Driven Latent Sampling

Tong Che, Ruixiang Zhang+5 more|arXiv (Cornell University)|Mar 12, 2020

Generative Adversarial Networks and Image Synthesis被引用数 32

ひとこと要約

本稿では、生成器の暗黙的密度を、識別器のロジットスコアをエネルギー関数として再重み付けすることにより、GANで生成されるサンプルの品質を向上させる、Discriminator Driven Latent Sampling (DDLS) を提案する。潜在空間におけるランジュバンMCMCを実行することで、追加の訓練やパラメータを追加せずに、事前学習済みSN-GANを用いてCIFAR-10で9.09という新しいSOTAのInceptionスコアを達成する。

ABSTRACT

We show that the sum of the implicit generator log-density $\log p_g$ of a GAN with the logit score of the discriminator defines an energy function which yields the true data density when the generator is imperfect but the discriminator is optimal, thus making it possible to improve on the typical generator (with implicit density $p_g$). To make that practical, we show that sampling from this modified density can be achieved by sampling in latent space according to an energy-based model induced by the sum of the latent prior log-density and the discriminator output score. This can be achieved by running a Langevin MCMC in latent space and then applying the generator function, which we call Discriminator Driven Latent Sampling~(DDLS). We show that DDLS is highly efficient compared to previous methods which work in the high-dimensional pixel space and can be applied to improve on previously trained GANs of many types. We evaluate DDLS on both synthetic and real-world datasets qualitatively and quantitatively. On CIFAR-10, DDLS substantially improves the Inception Score of an off-the-shelf pre-trained SN-GAN~\citep{sngan} from $8.22$ to $9.09$ which is even comparable to the class-conditional BigGAN~\citep{biggan} model. This achieves a new state-of-the-art in unconditional image synthesis setting without introducing extra parameters or additional training.

研究の動機と目的

• 識別器が最適であっても生成器が不完全であるために、GANが最適でないサンプルを生成するという制限を解消すること。
• 事前学習済みGANに再訓練やパラメータ追加を行わず、サンプル品質を向上させる実用的な手法を開発すること。
• 生成器の対数密度と識別器のロジットの和が、サンプリングに用いる有効なエネルギー関数として成立することを示すこと。

提案手法

• 本稿では、識別器が最適であるとき、生成器の対数密度と識別器のロジットスコアの和が、真のデータ密度を近似するエネルギー関数を形成することを同定する。
• 事前分布の対数密度と識別器出力を組み合わせた潜在空間エネルギーに基づくモデルを定式化し、ランジュバンMCMCを用いた効率的なサンプリングを可能にする。
• DDLSはエネルギー関数を用いて潜在空間でMCMCサンプリングを実行し、その後生成器を通じて画像を生成することで、改善された画像を得る。
• 本手法は高次元のピクセル空間でのサンプリングを回避するため、従来のエネルギーに基づくアプローチと比較して計算コストが低い。
• データ尤度の明示的推定なしに、尤度に基づく精錬を可能にするために、識別器のスコアをデータ尤度の代理として活用する。
• 本手法はモデルに依存せず、任意の事前学習済みGANに適用可能であり、生成器の再訓練なしに、潜在空間での推論時サンプリングのみを要する。

実験結果

リサーチクエスチョン

• RQ1 識別器の出力を用いて、生成サンプルを改善する意味のあるエネルギー関数を定義できるか？
• RQ2 生成器の再訓練なしに、潜在空間で精錬されたエネルギーに基づく分布からサンプリングすることは可能か？
• RQ3 計算効率とサンプル品質の観点から、従来の手法と比べてDDLSはどのように差をつけるか？
• RQ4 追加の訓練なしに、無条件画像生成ベンチマークでDDLSがSOTA性能を達成できるか？
• RQ5 本手法は、さまざまなGANアーキテクチャやデータセットに一般化可能か？

主な発見

• DDLSは、事前学習済みSN-GANのCIFAR-10におけるInceptionスコアを8.22から9.09に向上させ、無条件画像生成分野で新しいSOTAを達成した。
• 生成器の追加訓練やパラメータ更新を一切行わず、この向上が達成された。
• 本手法は非常に効率的であり、高次元のピクセル空間ではなく潜在空間で動作するため、計算コストが低減された。
• DDLSはさまざまなGANタイプに適用可能であり、合成データおよび実世界のデータセットにおいて、一貫した定性的・定量的向上を示した。
• GANが識別器を介して暗黙的にエネルギー関数を定義していることが示され、生成サンプルの原理的精錬が可能であることが明らかになった。