[論文レビュー] Stochastic Structured Variational Inference

Matthew D. Hoffman, David M. Blei|arXiv (Cornell University)|Apr 16, 2014

Gaussian Processes and Bayesian Inference被引用数 41

ひとこと要約

本稿では、グローバルパラメータとローカルの潜在変数の間の任意の依存関係をモデル化することで、平均場仮定を緩和する確率的構造的変分推論を提案する。構造的変分族を用いた確率的最適化により、バイアスを低減し、局所最適解やハイパーパramータへの感受性を低下させ、大規模データセットにおけるパラメータ推定の精度を向上させることで、より正確な事後分布の近似を達成する。

ABSTRACT

Stochastic variational inference makes it possible to approximate posterior distributions induced by large datasets quickly using stochastic optimization. The algorithm relies on the use of fully factorized variational distributions. However, this independence approximation limits the fidelity of the posterior approximation, and introduces local optima. We show how to relax the mean-field approximation to allow arbitrary dependencies between global parameters and local hidden variables, producing better parameter estimates by reducing bias, sensitivity to local optima, and sensitivity to hyperparameters.

研究の動機と目的

• 複雑な事後分布の近似において、平均場変分推論の限界を解消すること。
• 大規模ベイズ推論において、バイアスと局所最適解・ハイパーパramータへの感受性を低減すること。
• グローバルパラメータとローカルの潜在変数の間の依存関係を捉える柔軟で構造的な変分近似を可能にすること。
• 大規模データセットと互換性のあるスケーラブルな確率的最適化フレームワークを開発すること。

提案手法

• グローバルパラメータとローカルの潜在変数の間の依存関係を明示的にモデル化する構造的変分族を提案し、完全に分解可能な近似を越える。
• データのミニバッチをサンプリングすることで、大規模データセットへのスケーリングを実現するため、確率的最適化を用いる。
• 再パラメータライゼーショントリックを用いて、構造的族内の変分パラメータの勾配ベース最適化を可能にする。
• 変分分布内の構造的依存関係を考慮した、周辺尤度（証拠下限）の下界を導出する。
• オンライン学習と効率的な最適化を可能にする、変分下界の確率的近似を導入する。

実験結果

リサーチクエスチョン

• RQ1 グローバル変数とローカル変数の間の任意の依存関係をモデル化した構造的変分推論は、事後分布近似の質を向上させることができるか？
• RQ2 平均場仮定を緩和することで、大規模ベイズモデルにおけるバイアスとハイパーパラメータへの感受性が低減するか？
• RQ3 スケーラビリティを損なわず、構造的変分族に確率的最適化を効果的に適用できるか？
• RQ4 提案手法は、収束性およびパラメータ推定の精度の面で、標準的な平均場変分推論と比較して優れているか？

主な発見

• 構造的変分アプローチは、平均場変分推論と比較して顕著に低い近似バイアスを達成した。
• 実験的評価において、局所最適解やハイパーパラメータの選択に対する感受性が低減した。
• 確率的最適化により、大規模データセット上でのスケーラブルな推論が可能になり、高品質な事後分布近似を維持した。
• グローバルパラメータとローカルの潜在変数の間の意味のある依存関係を捉えることで、パラメータ推定の精度が向上した。