[論文レビュー] Metropolis-Hastings Generative Adversarial Networks

Ryan Turner, Jane Hung+3 more|arXiv (Cornell University)|Nov 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 18

ひとこと要約

本稿では、訓練済みの識別器を密度比推定器として用い、事前学習済みの生成器の周囲にマルコフ連鎖モンテカルロ（MCMC）ラッパーを構築するメトロポリス・ハスティングス生成的対抗ネットワーク（MH-GAN）を提案する。生成器からのサンプルに、識別器の出力を受理確率として用いたメトロポリス・ハスティングスアルゴリズムを適用することで、生成器が不完全であっても真のデータ分布からのサンプルを生成可能となり、CIFAR-10およびCelebAにおいて最先端のInceptionスコアと向上したサンプル品質を達成する。

ABSTRACT

We introduce the Metropolis-Hastings generative adversarial network (MH-GAN), which combines aspects of Markov chain Monte Carlo and GANs. The MH-GAN draws samples from the distribution implicitly defined by a GAN's discriminator-generator pair, as opposed to standard GANs which draw samples from the distribution defined only by the generator. It uses the discriminator from GAN training to build a wrapper around the generator for improved sampling. With a perfect discriminator, this wrapped generator samples from the true distribution on the data exactly even when the generator is imperfect. We demonstrate the benefits of the improved generator on multiple benchmark datasets, including CIFAR-10 and CelebA, using the DCGAN, WGAN, and progressive GAN.

研究の動機と目的

• 標準GANはサンプリングに生成器にのみ依存するため、訓練後でさえバイアスや低品質なサンプルを生成する可能性があるという制限を解消すること。
• 特に高次元空間において、生成器のサンプリング能力に比べて識別器が密度比をより正確に推定できる能力を活用すること。
• MCMCを用いて生成器の分布誤差を是正するラッピング生成器 $G'$ を構築することで、サンプル品質を向上させること。
• 完璧な識別器のもとで、生成器が不完全であっても真のデータ分布 $p_{\text{data}}$ からの正確なサンプルを生成できることを示すこと。
• GAN識別器の不良なキャリブレーションが、リジェクションサンプリングやMCMCベースの手法の信頼性を損なう問題に対処し、性能向上を図るためのキャリブレーション技術を導入すること。

提案手法

• 事前学習済みGANの識別器 $D$ を用いて、密度比 $\frac{p_D(\mathbf{x})}{p_G(\mathbf{x})} = \frac{D(\mathbf{x})}{1 - D(\mathbf{x})}$ を計算し、メトロポリス・ハスティングスの受理確率に十分であることを確認する。
• 元の生成器 $G$ からの提案を用いるMCMCインdependenceサンプラーとしてのラッピング生成器 $G'$ を構築する。
• 識別器の出力を用いて受理または却認するメトロポリス・ハスティングスアルゴリズムを適用し、定常分布が $p_D$ に一致するように保証する。最適状態では $p_D = p_{\text{data}}$ となる。
• 等方的回帰や温度スケーリングなどのキャリブレーション技術を導入し、受理意思決定における識別器スコアの信頼性を向上させる。
• 複数回のMCMCイテレーション（例：$k=640$ または $k=800$）を用いて、サンプリングプロセスを精緻化し、実データとの分布整合性を向上させる。
• DCGAN、WGAN、プログレッシブGANを含む多様なGANアーキテクチャにMH-GANフレームワークを適用し、広範な適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 識別器の出力をMCMCサンプリングに用いることで、生成器のサンプルにおける分布バイアスを是正できるか？
• RQ2 識別器が最適状態に達した場合、生成器が不完全であってもMH-GANフレームワークは真のデータ分布からの正確なサンプリングを達成できるか？
• RQ3 サンプル品質と受理率の観点から、MH-GANは識別器リジェクションサンプリング（DRS）などの代替手法に比べて優れているか？
• RQ4 識別器のキャリブレーション不備がMCMCベースのサンプリングに与える影響はどの程度で、キャリブレーション技術がMH-GANの性能向上に寄与するか？
• RQ5 プログレッシブGANのような高度なGANアーキテクチャに対しても、MH-GANは高解像度画像生成におけるサンプル品質向上に有効に適用可能か？

主な発見

• CIFAR-10およびCelebAにおける全テストモデル（DCGAN、WGAN、プログレッシブGAN）において、MH-GANはInceptionスコアを顕著に向上させ、すべての改善はペアt検定により有意（$p < 0.05$）である。
• 完璧な識別器のもとで、生成器が不完全であってもMH-GANは真のデータ分布 $p_{\text{data}}$ からの正確なサンプルを生成可能であり、これまでは達成されていなかった理論的保証を満たす。
• 識別器のキャリブレーション（特に等方的回帰を用いたもの）により、性能が著しく向上し、$Z$-統計量は $-77.57$ から $48.98$（未キャリブレーション）から $-2.91$ から $3.60$（キャリブレーション後）に改善され、信頼性の向上が示された。
• DRSよりも高い受理率と優れたサンプル品質を達成しており、人間評価ではCelebA-HQにおいてMH-GANがPGANやDRSよりもはるかに少ない歪みや欠陥のある画像を選択した。
• プログレッシブGANでは、16のサンプリングバッチにおいてMH-GANは歪みのある画像をゼロにまで削減したが、DRSは依然として7つの欠陥のあるサンプルを生成した。一様片側検定において、MH-GANは $p=0.013$ でPGANを上回った。
• MH-GANのサンプルにおける識別器スコアの分布は、実画像の分布と非常に近い形状を示しており、生成器のモード崩壊や分布バイアスの是正が効果的に行われていることが示された。