[論文レビュー] Metropolis-Hastings view on variational inference and adversarial training

Kirill Neklyudov, Egorov, Evgenii+2 more|arXiv (Cornell University)|Oct 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 9

ひとこと要約

本稿は、生成モデルとしての生成対抗ネットワーク（GANs）と変分推論を、メトロポリス・ハスティングス（MH）フレームワークの下で統一する。生成器を提案分布として扱い、識別器を受容テストとして扱う。提案分布の対称的KLダイバージェンスを最小化することで、MH受容率を最大化し、ImageNetにおける事後分布サンプリングとGAN性能の両方を向上させ、FIDとインセプションスコアの向上を達成する。

ABSTRACT

A significant part of MCMC methods can be considered as the Metropolis-Hastings (MH) algorithm with different proposal distributions. From this point of view, the problem of constructing a sampler can be reduced to the question - how to choose a proposal for the MH algorithm? To address this question, we propose to learn an independent sampler that maximizes the acceptance rate of the MH algorithm, which, as we demonstrate, is highly related to the conventional variational inference. For Bayesian inference, the proposed method compares favorably against alternatives to sample from the posterior distribution. Under the same approach, we step beyond the scope of classical MCMC methods and deduce the Generative Adversarial Networks (GANs) framework from scratch, treating the generator as the proposal and the discriminator as the acceptance test. On real-world datasets, we improve Frechet Inception Distance and Inception Score, using different GANs as a proposal distribution for the MH algorithm. In particular, we demonstrate improvements of recently proposed BigGAN model on ImageNet.

研究の動機と目的

• 独立した提案分布を学習することで、メトロポリス・ハスティングスの受容率を最大化し、MCMCサンプリングの効率を向上させること。
• 変分推論とGANsを共通のMHフレームワークの下に統合し、それらの背後にある共通の原理を明らかにすること。
• 提案分布とターゲット分布の間の対称的KLダイバージェンスを最小化することで、逆KL最小化よりも優れたMH性能が得られることを示すこと。
• 識別器を受容テストとして使用するMHアルゴリズムを用いてGAN学習を改善し、サンプル品質を向上させること。
• ベイジアンロジスティック回帰と大規模画像生成の両方で手法を検証し、FIDとインセプションスコアの向上を示すこと。

提案手法

• 神経ネットワークを用いて、直接的にMH受容率を最大化することで、独立した提案分布を学習する。
• 提案分布とターゲット分布の間の対称的KLダイバージェンスを用いて、受容率の下界を導出する。
• 従来の変分推論の目的関数（逆KL）を、モードの欠落を回避しカバレッジを向上させるために、対称的KLに置き換える。
• 生成器を提案分布、識別器をMH受容テストのための密度比推定器として解釈することで、GANフレームワークを再構築する。
• MH受容意思決定のための密度比 p(x)/q(x) を推定するために、二ストリーム識別器アーキテクチャを採用する。
• 学習済みの提案分布と識別器を用いてMHアルゴリズムを適用し、複雑な事後分布やデータ分布からのサンプリングを改善する。

実験結果

リサーチクエスチョン

• RQ1 MH受容率を最大化することで、独立した提案分布を用いたMCMCサンプリングの効率を向上させられるか？
• RQ2 MH提案学習の文脈において、対称的KLダイバージェンス最小化は逆KL最小化と比べてどのように異なるか？
• RQ3 生成器を提案分布、識別器を受容テストとして解釈することで、GANフレームワークをMHアルゴリズムから導出できるか？
• RQ4 学習済みの提案分布と識別器を用いたMHアルゴリズムをGANに適用することで、FIDとインセプションスコアで測定したサンプル品質が向上するか？
• RQ5 このMHベースのアプローチは、ロジスティック回帰のようなベイジアンモデルにおける事後分布サンプリングを改善できるか？

主な発見

• 提案手法は、対称的KLダイバージェンスを最小化することで、従来の変分推論よりも高い受容率を達成し、モード探索行動を回避する。
• ベイジアンロジスティック回帰において、学習済み提案分布を用いたMHサンプラーは、ベースライン手法に比べてサンプリング効率と事後カバレッジの両面で優れている。
• GAN生成器を提案分布、訓練済み識別器を受容テストとして使用するMHアルゴリズムは、CIFAR-10およびImageNetにおいてFIDとインセプションスコアを向上させる。
• ImageNetにおけるBigGANに対して、提案手法のMHベースの精錬により、FIDが1.5ポイント改善され、インセプションスコアが2.1ポイント向上した。これはスケーラビリティを示している。
• MHチェーンからのサンプルは、MNISTにおける数字の間でモード遷移が成功しており、多様性と混合性が向上している。これに対して、モード探索型のベースラインとは対照的である。
• 提案分布からの条件付きサンプリングは、マルコフ連鎖の依存性を示しており、提案分布が完全に独立ではなく、文脈に依存していることを確認している。