[論文レビュー] Fast and Simple Natural-Gradient Variational Inference with Mixture of Exponential-family Approximations

Lin Wu, Mohammad Emtiyaz Khan+1 more|arXiv (Cornell University)|Jun 7, 2019

Gaussian Processes and Bayesian Inference参考文献 58被引用数 12

ひとこと要約

本稿では、最小条件付き指数型分布（MCEF）表現を導入することで、混合指数型分布（EF）近似に対する高速で単純な自然勾配変分推論手法を提案する。これにより、複雑で多次元な事後分布に対しても効率的な自然勾配更新が可能となり、ブラックボックス勾配法よりも収束が速くなる一方で、従来の最小EF近似をはるかに超える計算の簡潔さを維持することができる。

ABSTRACT

Natural-gradient methods enable fast and simple algorithms for variational inference, but due to computational difficulties, their use is mostly limited to \emph{minimal} exponential-family (EF) approximations. In this paper, we extend their application to estimate \emph{structured} approximations such as mixtures of EF distributions. Such approximations can fit complex, multimodal posterior distributions and are generally more accurate than unimodal EF approximations. By using a \emph{minimal conditional-EF} representation of such approximations, we derive simple natural-gradient updates. Our empirical results demonstrate a faster convergence of our natural-gradient method compared to black-box gradient-based methods with reparameterization gradients. Our work expands the scope of natural gradients for Bayesian inference and makes them more widely applicable than before.

研究の動機と目的

• 最小指数型分布近似を超えて、混合EFや構造的で柔軟な分布を扱えるように自然勾配変分推論を拡張すること。
• 混合分布および曲がった指数型分布の自然勾配を計算する計算上の課題に対処すること。
• 最小条件付き指数型分布（MCEF）表現を用いて、これらの複雑な近似に対する単純で閉形式の自然勾配更新を導出すること。
• 従来のブラックボックス勾配ベースの手法と比較して、収束速度と安定性を向上させること。
• ベイズ推論における複雑な事後分布に自然勾配法をより広く適用可能にするようにすること。

提案手法

• 最小条件付き指数型分布（MCEF）表現を導入し、最小EFの一般化であり、混合分布や曲がったEFを含む。
• MCEF形式に関連する期待値パrameter化を用いることで、自然勾配の効率的計算を可能にする。
• フィッシャー情報行列の明示的逆行列計算を伴わず、自然パラメータ空間における閉形式の自然勾配更新を導出する。
• 再パラメータライゼーションと確率的最適化を用いて、ガウス混合分布や対称正規逆ガウス分布を含むさまざまなモデルに適用する。
• 自然勾配成分を組み込んだ適応的最適化（例：Adam風の更新）を用い、安定的かつ高速な収束を実現する。
• MCEFフレームワーク下で十分統計量とスコア関数を用いて、平均および精度パラメータの両方の更新を導出する。

実験結果

リサーチクエスチョン

• RQ1 混合指数型分布近似に対して、自然勾配更新を効率的に導出できるか。これは最小EFより表現力に優れている。
• RQ2 MCEF表現により、フィッシャー情報行列の逆行列を計算せずに閉形式の自然勾配更新が可能か。
• RQ3 再パラメータライゼーション勾配を用いたブラックボックス勾配ベースの変分推論と比較して、提案手法の収束速度はどうか。
• RQ4 多次元的かつ複雑な事後分布を扱う中で、計算の簡潔さと高速収束を維持できるか。
• RQ5 構造的変分近似を要するモデルにおいて、実験的性能はいかがなものか。

主な発見

• 提案手法は、テストしたすべてのモデルで再パラメータライゼーション勾配を用いたブラックボックス勾配ベースの手法よりも収束が速い。
• MCEF表現を用いることで、混合分布および曲がった指数型分布に対する自然勾配更新が閉形式で導出可能である。
• 計算の簡潔さを維持し、明示的なフィッシャー情報行列の逆行列計算を回避することで、効率的な最適化が可能である。
• 実験的結果から、このアプローチは多次元事後分布を効果的に捉えており、単一モードのEF近似よりも精度が優れている。
• ガウス過程、深層ニューラルネットワーク、対称正規逆ガウス事前分布を有するモデルを含む、広範なモデルに適用可能である。
• 自然勾配成分を組み込んだ適応的最適化により、実際の応用において安定的かつ高速な収束が達成される。