[論文レビュー] Semi-Implicit Variational Inference

Mingzhang Yin, Mingyuan Zhou|arXiv (Cornell University)|May 28, 2018

Gaussian Processes and Bayesian Inference参考文献 47被引用数 27

ひとこと要約

Semi-Implicit Variational Inference (SIVI) は、解析的変分分布と再パラメータ可能でimplicitな混合分布を組み合わせることで、解析的密度関数を必要とせずに非常に表現力のある事後分布近似を可能にする柔軟な変分推論フレームワークを導入する。これは、確率的勾配最適化に適した漸近的に正確な代替ELBOを導出し、多様なベイズ推論タスクにおいてMCMCレベルの精度を達成する。

ABSTRACT

Semi-implicit variational inference (SIVI) is introduced to expand the commonly used analytic variational distribution family, by mixing the variational parameter with a flexible distribution. This mixing distribution can assume any density function, explicit or not, as long as independent random samples can be generated via reparameterization. Not only does SIVI expand the variational family to incorporate highly flexible variational distributions, including implicit ones that have no analytic density functions, but also sandwiches the evidence lower bound (ELBO) between a lower bound and an upper bound, and further derives an asymptotically exact surrogate ELBO that is amenable to optimization via stochastic gradient ascent. With a substantially expanded variational family and a novel optimization algorithm, SIVI is shown to closely match the accuracy of MCMC in inferring the posterior in a variety of Bayesian inference tasks.

研究の動機と目的

• 平均場変分推論が、表現力に制限のある変分族のため、事後分散を過小評価するという限界を是正すること。
• 密度比推定に依存せずに、implicitで解析的でない密度分布を変分推論に活用できること。
• ELBOをはさみ撃ちして、複雑な変分族に対する実行可能で効率的な最適化手順を構築すること。
• 変分推論とMCMCの間の精度のギャップを、事後分布の不確実性評価において埋めること。
• 複雑で多次元的、または非対称な事後分布を持つモデルへの変分推論の適用範囲を拡大すること。

提案手法

• 変分パラメータ ψ を、柔軟で再パラメータ可能である混合分布 q(ψ) から抽出する、半implicitな階層的構造を導入する。
• 解析的PDFを持つベース変分分布 q(z|ψ) を用いながら、混合分布 q(ψ) が独立で再パラメータ可能サンプリングを可能にする限り、implicitであることを許容する。
• ELBOを下限と上限ではさみ撃ちし、階層モデルからのサンプリングを用いてEvidence Lower Boundのモンテカルロ推定を可能にする。
• 密度比推定を必要とせず、確率的勾配上昇法に適した漸近的に正確な代替ELBOを提案する。
• 最初の層が解析的で、以降の層がimplicitである複数の確率的層を追加することで、mean-field VI や VAE にフレームワークを適用する。
• 階層的エンコーダーにおける条件付き分布をニューラルネットワークでパラメータ化し、柔軟でアンモタイズド推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 半implicitな階層的構造は、最適化が容易である一方で、表現力のある変分近似を可能にできるか？
• RQ2 半implicit構造下で、モンテカルロサンプリングを用いてELBOを十分な精度ではさみ撃ちして近似できるか？
• RQ3 SIVI は、共役性や明示的な密度関数を必要とせずに、MCMCと同等の事後精度を達成できるか？
• RQ4 SIVI は、複雑で多次元的、または非対称な事後分布を持つモデルにおける事後分布の不確実性評価を改善できるか？
• RQ5 実世界のベイズ推論タスクにおいて、SIVI は標準的なVIやMCMCと比較してどのように性能を発揮するか？

主な発見

• SIVI は、ベイズロジスティック回帰においてMCMCと同等の事後精度を達成し、不確実性評価において標準的なVI や変分ブースティングを上回る。
• 半implicit VAE (SIVAE) では、重要度再重み付けを用いて、バイナリ化MNISTで負の対数尤度が83.25にまで低下し、単一確率的層エンコーダーを備えた標準VAEを上回る性能を示した。
• SIVIにおける代替ELBOは漸近的に正確であり、密度比推定を必要とせず、確率的勾配上昇法による信頼性の高い最適化を可能にする。
• SIVI は、平均場VIにおける事後依存性を、周辺分布は条件付き独立だが周辺的に依存する形でうまく捉えている。
• 推論された確率的変分ネットワークを用いて、事後サンプルの即時生成が可能な高速でi.i.d.な事後サンプリングをサポートする。
• SIVI は、明示的な密度評価を必要とせず、正規化フローに類似した構造とimplicit分布を組み合わせることで、VAEにおける最先端の性能を達成した。