[論文レビュー] The Generalized Reparameterization Gradient

Francisco J. R. Ruiz, Michalis K. Titsias+1 more|arXiv (Cornell University)|Oct 7, 2016

Gaussian Processes and Bayesian Inference参考文献 32被引用数 27

ひとこと要約

本稿では、一般化再パラメータ化勾配（g-rep）を導入し、正規分布以外の変分分布（例：ベータ分布やガンマ分布）に対しても低分散再パラメータ化勾配を拡張する手法を提示する。これは、変分パラメータに弱く依存する可逆変換を用いることで実現される。本手法は再パラメータ化勾配とスコア関数勾配を組み合わせ、1つのモンテカルロサンプルで高速かつ高精度な変分推論を可能にし、尤度と収束性能においてBBVIおよびADVIを上回る。

ABSTRACT

The reparameterization gradient has become a widely used method to obtain Monte Carlo gradients to optimize the variational objective. However, this technique does not easily apply to commonly used distributions such as beta or gamma without further approximations, and most practical applications of the reparameterization gradient fit Gaussian distributions. In this paper, we introduce the generalized reparameterization gradient, a method that extends the reparameterization gradient to a wider class of variational distributions. Generalized reparameterizations use invertible transformations of the latent variables which lead to transformed distributions that weakly depend on the variational parameters. This results in new Monte Carlo gradients that combine reparameterization gradients and score function gradients. We demonstrate our approach on variational inference for two complex probabilistic models. The generalized reparameterization is effective: even a single sample from the variational distribution is enough to obtain a low-variance gradient.

研究の動機と目的

• 標準の再パラメータ化勾配が正規分布の変分族に限定されるという制限を解消し、ベータ分布やガンマ分布のような一般的な分布への適用を容易にすること。
• 再パラメータ化による低分散の利点を保ちつつ、より広範な非共役確率的モデルのクラスへの適用可能性を拡張すること。
• 近似や制限的な仮定を必要とせず、複雑な非正規変分族を用いたブラックボックス変分推論を可能にすること。
• 単一のモンテカルロサンプルで十分に低分散の勾配推定が可能であることを示し、計算効率を向上させること。

提案手法

• 変分パラメータに弱く依存するように、潜在変数の可逆変換を導入し、変換後の変数の分布がその依存性を弱めるようにすること。
• 変換後の変数に対する再パラメータ化勾配と、変換のヤコビアンに対するスコア関数勾配を組み合わせた新しい勾配推定器を構築し、ハイブリッド勾配を生成すること。
• 変数変換の公式を用いて、元の潜在変数の対数密度を変換後の変数と変換のヤコビアンで表現すること。
• 変換後の変数とヤコビアンに関する変分下界の勾配の期待値として、一般化再パラメータ化勾配を導出すること。
• ガンマ分布およびベータ分布を有する潜在変数を持つモデルに本手法を適用し、正規近似を用いない効率的な推論を可能にすること。
• 既存の変分族と微分可能なモデルを再利用することでブラックボックス互換性を維持し、純粋なスコア関数法の高分散を回避すること。

実験結果

リサーチクエスチョン

• RQ1 近似に依存せずに、ベータ分布やガンマ分布のような非正規変分分布に対しても再パラメータ化勾配を拡張できるか？
• RQ2 非共役モデルにおける非正規事後分布のブラックボックス変分推論において、勾配推定の分散をどのように低減できるか？
• RQ3 一般化再パラメータ化を用いた複雑なモデルにおいて、単一のモンテカルロサンプルで十分に低分散の勾配推定が可能か？
• RQ4 一般化再パラメータ化勾配は、BBVI や ADVI と比較して収束速度と尤度の質において優れているか？
• RQ5 変換後の分布が変分パラメータに僅かに依存するように、可逆変換を設計できるか？これにより効率的な勾配計算が可能になるか？

主な発見

• 一般化再パラメータ化勾配により、従来の再パラメータ化では取り扱いにくいガンマ分布やベータ分布のような非正規分布に対しても効果的な変分推論が可能になった。
• 単一のモンテカルロサンプルで十分に低分散の勾配推定が達成可能であり、計算が非常に効率的で、BBVI よりも高速である。
• g-rep は収束速度において BBVI を上回り、1回の反復あたり1〜4倍速く、より良い ELBO 値を達成した。
• nips および Omniglot データセットにおいて、g-rep はテスト尤度が高く、パープレキシティが低く、より優れたモデル適合を示した。
• MNIST データセットでは、g-rep は BBVI や ADVI よりも高い ELBO を達成しており、とくにスパarsity を捉える能力のおかげで、より優れた変分近似であることが示された。
• 生成されたサンプルの視覚的評価から、g-rep は ADVI よりもはっきりとした画像を生成したのに対し、ADVI はぼやけた出力を示した。これは、より優れた事後分布近似であることを裏付けた。