[論文レビュー] Doubly Semi-Implicit Variational Inference

Dmitry Molchanov, В. А. Харитонов+2 more|arXiv (Cornell University)|Oct 5, 2018

Gaussian Processes and Bayesian Inference参考文献 34被引用数 4

ひとこと要約

本稿では、近似事後分布と事前分布の両方が半暗黙分布（滑らかな密度の混合であり、柔軟な暗黙の混合測度を持つもの）である場合の変分推論のためのフレームワーク、二重に半暗黙的変分推論（DSIVI）を提案する。DSIVIはELBOの漸近的に正確な下界と、任意にタイトにできる上界を提供し、暗黙の事前分布および事後分布を伴うモデルにおける正確な変分学習を可能にする。また、ウォームアップを必要としないより表現力に富んだ学習可能事前分布を可能にすることで、VAEにおけるVampPriorを改善する。

ABSTRACT

We extend the existing framework of semi-implicit variational inference (SIVI) and introduce doubly semi-implicit variational inference (DSIVI), a way to perform variational inference and learning when both the approximate posterior and the prior distribution are semi-implicit. In other words, DSIVI performs inference in models where the prior and the posterior can be expressed as an intractable infinite mixture of some analytic density with a highly flexible implicit mixing distribution. We provide a sandwich bound on the evidence lower bound (ELBO) objective that can be made arbitrarily tight. Unlike discriminator-based and kernel-based approaches to implicit variational inference, DSIVI optimizes a proper lower bound on ELBO that is asymptotically exact. We evaluate DSIVI on a set of problems that benefit from implicit priors. In particular, we show that DSIVI gives rise to a simple modification of VampPrior, the current state-of-the-art prior for variational autoencoders, which improves its performance.

研究の動機と目的

• 既存の変分推論手法が事前分布および事後分布の両方に対して滑らかな密度を必要としているという制限に対処すること。特に、より良いモデリングを実現するために暗黙の分布が必要となる状況を想定する。
• 近似事後分布および事前分布の両方が半暗黙的（解析的密度の混合であり、暗黙の混合分布を持つ）である場合に、変分推論を可能にするフレームワークの開発。
• ELBOの下界を漸近的に正確に保ち、上界を任意にタイトにできるようにすることにより、信頼性の高い最適化を可能にする。
• DSIVIの有効性を、特にVampPriorなどの最先端手法を上回る形で、暗黙の事前分布を伴うVAEのような実用的設定において実証すること。

提案手法

• 両方の事前分布および事後分布が半暗黙分布（解析的密度の混合であり、暗黙の混合測度を持つもの）として定義される二重に半暗黙的変分推論（DSIVI）フレームワークを提案する。
• 再パラメータライゼーション勾配とKLダイバージェンスの変分表現を用いて、SIVIにインspiredされた漸近的に正確なELBOの下界を導出する。
• サンプルサイズの増加に伴い任意にタイトになるように、サンドイッチ境界を用いてELBOの上界を構築する。
• ノイズ変数からのサンプルをノイズ変数の決定的変換として表現することにより、勾配推定のための再パラメータライゼーショントリックを採用する。
• 混合分布（例：事前分布のため）をニューラルネットワークでパラメータライズすることで、事前分布および事後分布を統合的にエンドツーエンドで学習可能にする。
• 事前分布を半暗黙の混合ガウス分布としてモデル化し、学習可能な擬似入力および柔軟な混合ネットワークを用いることで、VAEにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 両方の事前分布および事後分布が半暗黙的、すなわち暗黙の混合分布によって定義される場合に、変分推論を実行できるか？
• RQ2 このような状況において、ELBOの下界を漸近的に正確にできるか？
• RQ3 下界と上界の間でサンドイッチされ、任意にタイトにできるELBOの境界を達成できるか？
• RQ4 DSIVIは、特にVampPriorなどの既存手法と比較して、暗黙の事前分布を伴うVAEなどのモデルで性能を向上させられるか？

主な発見

• DSIVIは、従来の暗黙の変分推論手法よりもELBOの下界がタイトであり、サンプルサイズの増加に伴い漸近的に正確になる。
• 本手法により、半暗黙のフレームワークにおいて、事前分布および事後分布の両方をエンドツーエンドで学習可能となり、標準的なVampPriorよりも表現力に富んだモデリングが可能になる。
• MNISTにおけるVAEでは、DSIVI-agg（半暗黙の集約事後分布）がK=5000でテスト時の対数尤度≥−82.16を達成し、VampPrior（−82.38）およびVampPrior-data（−85.05）を上回る。
• DSIVI-priorは、ニューラルネットワークでパラメータライズされた混合分布を用いた完全に因子化されたガウス条件付き分布を採用し、ウォームアップを必要としない状態で−82.27の対数尤度を達成し、VampPriorを上回る。
• 階層的VAEでは、DSIVI-aggが≥−81.09の対数尤度を達成し、VampPrior（−81.24）およびVampPrior-data（−81.71）を上回る。
• ガウス混合分布を用いた逐次近似実験を通じて、事前分布および事後分布の両方が半暗黙的である場合でも、複雑なターゲット分布を効果的に学習できることを示している。