[論文レビュー] Monte Carlo Structured SVI for Two-Level Non-Conjugate Models

Rishit Sheth, Roni Khardon|arXiv (Cornell University)|Dec 12, 2016

Bayesian Methods and Mixture Models参考文献 8被引用数 4

ひとこと要約

本稿では、共役性の仮定なしに二段階の潜在変数モデルに対して、構造的変分近似と自然勾配を活用してスケーラブルな推論を可能にする、モンテカルロ構造的確率的変分ベイズ推論（MC-SSVI）を提案する。この手法は、事前分布と変分分布が同じ指数型分布族を共有する場合に、非共役モデルへのSVIの拡張を示し、ハイブリッド勾配法によりガウスモデルにおける収束性を向上させる。

ABSTRACT

The stochastic variational inference (SVI) paradigm, which combines variational inference, natural gradients, and stochastic updates, was recently proposed for large-scale data analysis in conjugate Bayesian models and demonstrated to be effective in several problems. This paper studies a family of Bayesian latent variable models with two levels of hidden variables but without any conjugacy requirements, making several contributions in this context. The first is observing that SVI, with an improved structured variational approximation, is applicable under more general conditions than previously thought with the only requirement being that the approximating variational distribution be in the same family as the prior. The resulting approach, Monte Carlo Structured SVI (MC-SSVI), significantly extends the scope of SVI, enabling large-scale learning in non-conjugate models. For models with latent Gaussian variables we propose a hybrid algorithm, using both standard and natural gradients, which is shown to improve stability and convergence. Applications in mixed effects models, sparse Gaussian processes, probabilistic matrix factorization and correlated topic models demonstrate the generality of the approach and the advantages of the proposed algorithms.

研究の動機と目的

• 二段階の潜在変数を持つ非共役ベイズモデルにおける確率的変分ベイズ推論（SVI）の限界を解消すること。
• 共役性を仮定しない一般の二段階潜在変数モデル（2L-LVM）にMC-SSVIを拡張し、指数型分布族の共役モデルにとどまらない応用範囲を広げること。
• 潜在ガウス変数を含むモデルにおいて、共分散には自然勾配、平均には標準勾配を組み合わせたハイブリッドアルゴリズム（H-MC-SSVI）を開発し、収束性と安定性を向上させること。
• 混合効果モデル、スパースガウス過程、確率的行列分解、相関トピックモデルなど多様なモデルにおいて、MC-SSVIの有効性を実証すること。
• 既存の変分近似との関係を明確にし、2L-LVM族における最適な構造的近似を特定する統一的な枠組みを提供すること。

提案手法

• ミニバッチデータのサンプリングとモンテカルロ推定を用いて、計算不能な期待値を扱えるように、2L-LVMへの構造的SVIの一般化としてMC-SSVIを提案する。
• 事前分布と変分分布が同じ指数型分布族に属する場合に、自然勾配の関係から導かれる固定点更新を適用し、最適化を可能にする。
• 潜在ガウス変数を含むモデルに対してH-MC-SSVIを導入し、共分散には自然勾配、平均には標準勾配を組み合わせることで収束性を向上させる。
• テストセットの正規化された負の対数尤度（NLL）推定のため、重要度サンプリングと事後分布サンプリングの手法を用いる。
• 対角共分散とフル共分散の近似を用いた変分推論を実装し、周辺尤度の推定にモンテカルロサンプリングとChib式推定の両方を比較する。
• 一般化混合効果モデル（GME）、スパースガウス過程（sGP）、確率的行列分解（PMF）、相関トピックモデル（CTM）など複数のモデルにアルゴリズムを適用し、nipsおよびenronデータセットを用いた実証的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 共役性の指数型分布族の条件を必要とせずに、構造的変分ベイズ推論を非共役な二段階潜在変数モデルに拡張可能か？
• RQ2 2L-LVMにおいて、構造的変分近似が最適となる条件は何か？また、LDA や PMF のようなモデルにおける既存の近似とどのように関係するか？
• RQ3 潜在ガウス変数を含むモデルにおいて、共分散には自然勾配、平均には標準勾配を組み合わせたハイブリッド勾配法が、収束性と安定性をどのように向上させるか？
• RQ4 CTM や PMF のような大規模非共役モデルにおいて、MC-SSVI が平均場近似や標準SVIに比べてどれほど性能向上を達成するか？
• RQ5 CTM における予測対数尤度推定に影響を与える、異なる重要度サンプリングスキームと共分散のインflaion戦略は、どのように影響を及ぼすか？

主な発見

• MC-SSVIは、潜在変数の事前分布と変分分布が同じ指数型分布族に属する限り、2L-LVMに適用可能であり、共役モデルに限らないSVIの適用範囲を顕著に拡大する。
• ハイブリッド勾配（共分散には自然勾度、平均には標準勾度）を用いたH-MC-SSVIは、潜在ガウス変数を含むモデルにおいて、収束性と安定性が優れており、平均場近似や標準SVIの両方を上回る性能を示す。
• K=50のnipsデータセットにおいて、最適な構造的近似を用いたH-MC-SSVIは、すべての評価手法でテストセット正規化NLLが最小となり、平均場近似やS-DSVIを上回った。
• 事後分布サンプリングと共分散インフレーション（例：+I）を組み合わせた重要度サンプリングスキームは、サンプルサイズが増加するにつれて一貫した値に収束し、より正確なNLL推定を実現した。
• NLL推定における対数事前分布項の追加により、最適近似における平均場近似とH-MC-SSVIの性能差が顕著に拡大し、H-MC-SSVIがモデルの不確実性をより適切に捉えていることが示された。
• enronデータセットにおいて、対角共分散を用いたH-MC-SSVIは、時間経過とともに平均場近似よりもより良い最適解に到達した。これは、大規模な設定においても最適化能力が向上していることを確認するものである。