[論文レビュー] Stochastic Structured Mean-Field Variational Inference.

Matthew D. Hoffman|arXiv (Cornell University)|Apr 16, 2014

Gaussian Processes and Bayesian Inference参考文献 15被引用数 3

ひとこと要約

本稿では、グローバルパラメータとローカル潜在変数の間の任意の依存関係をモデル化することで、制限の厳しい平均場仮定を緩和する、確率的構造的平均場変分推論を提案する。構造的変分近似を確率的変分推論に組み込むことで、近似バイアスを低減し、大規模ベイジアンモデルにおける収束の安定性を向上させる。

ABSTRACT

Stochastic variational inference makes it possible to approximate posterior distributions induced by large datasets quickly. The algorithm relies heav-ily on the use of fully factorized variational dis-tributions. However, this “mean-field ” indepen-dence approximation introduces bias. We show how to relax the mean-field approximation to al-low arbitrary dependences between global pa-rameters and local hidden variables, reducing both bias and sensitivity to local optima. 1

研究の動機と目的

• 確率的変分推論における完全に因子分解された（平均場）近似によって生じるバイアスに対処すること。
• 大規模モデルにおけるグローバルパラメータとローカル潜在変数の間の柔軟で構造的な依存関係を可能にすること。
• 事後分布近似における局所最適解への感受性を低減すること。
• 事後分布近似の品質を向上させつつ計算効率を維持すること。

提案手法

• グローバルパラメータとローカル潜在変数の間の依存関係を明示的にモデル化する構造的変分族を提案する。
• 確率的最適化を用いて非因子分解の変分分布と連携できるように、確率的変分推論を適合させる。
• 変分パラメータの勾配ベース最適化を可能にする再パrameterizationトリックを採用する。
• 大規模データセットにおけるスケーラブルな最適化のため、下界（ELBO）のモンテカルロ近似を用いる。
• 複雑な条件付き依存関係を捉えることのできる柔軟なパrametric形式の変分分布を導入する。
• ミニバッチデータを用いてELBOを最適化するための確率的勾配降下法を適用する。

実験結果

リサーチクエスチョン

• RQ1 グローバルパラメータとローカル変数の間の構造的依存関係は、平均場手法と比較して、事後分布近似のバイアスを低減できるか？
• RQ2 本手法は、大規模データセットにおける収束安定性および近似品質の観点で、どのように性能を発揮するか？
• RQ3 平均場仮定を緩和することで、ELBOおよびモデル適合度はどの程度向上するか？
• RQ4 複雑な事後分布依存関係を捉えることができる一方で、計算効率を維持できるか？

主な発見

• 構造的変分近似は、標準的な平均場変分推論と比較して顕著にバイアスを低減した。
• 本手法は、事後分布推定における収束行動が改善され、局所最適解への感受性が低減した。
• グローバル変数とローカル変数の間の依存関係をモデル化することで、周辺尤度に対するタイトな下界が達成された。
• 確率的最適化を通じてスケーラビリティを維持したため、大規模データセットへの応用が可能になった。