[論文レビュー] Structured Stochastic Variational Inference

Matthew D. Hoffman, David M. Blei|arXiv (Cornell University)|Apr 16, 2014

Gaussian Processes and Bayesian Inference参考文献 33被引用数 49

ひとこと要約

本稿では、グローバルパラメータとローカル潜在変数の間の依存関係を許容することで、平均場仮定を緩和する一般化された確率的変分ベイズ推論（SSVI）を提案する。変分分布を $ q(z,\beta) = \left(\prod_k q(\beta_k)\right) \prod_n q(z_n|\beta) $ と定式化することで、近似バイアスを低減し、局所最適解を回避し、LDAのような大規模モデルにおけるパラメータ推定を向上させる。標準的なSVIに比べ、精度とハイパーパramータに対するロバスト性の両面で優れている。

ABSTRACT

Stochastic variational inference makes it possible to approximate posterior distributions induced by large datasets quickly using stochastic optimization. The algorithm relies on the use of fully factorized variational distributions. However, this "mean-field" independence approximation limits the fidelity of the posterior approximation, and introduces local optima. We show how to relax the mean-field approximation to allow arbitrary dependencies between global parameters and local hidden variables, producing better parameter estimates by reducing bias, sensitivity to local optima, and sensitivity to hyperparameters.

研究の動機と目的

• 高次元かつマルチモーダルな事後分布において、独立性仮定がバイアスを生じさせ、局所最適解に陥るという平均場変分ベイズ推論の限界を解消すること。
• グローバルパラメータとローカル潜在変数の間の依存関係を捉える構造的近似に、確率的変分ベイズ推論を拡張すること。
• 計算効率を維持したまま事後分布近似の忠実度を向上させる、スケーラブルなステートティック最適化ベースのフレームワークを構築すること。
• ハイパーパラメータへの感受性を低減し、平均場SVIで一般的に見られる悪い局所最適解を回避すること。
• Wikipediaテキストコーパスのような実世界の大規模データセットを用いたトピックモデル（例：LDA）において、SSVIの有効性を実証すること。

提案手法

• グローバルパラメータ $ \beta $ とローカル変数 $ z_n $ の間の任意の依存関係を許容する、構造的変分分布 $ q(z,\beta) = \left(\prod_k q(\beta_k)\right) \prod_n q(z_n|\beta) $ を提案する。
• データのミニバッチからのノイズの多い勾配を用いてグローバルパラメータ $ \beta $ を更新するための確率的最適化を適応し、スケーラビリティを維持する。
• 指数型分布族（例：ディリクレ分布）に対して、自然勾配とフィッシャー情報行列を用いて閉形式の更新式を導出する。
• 逆累積分布関数サンプリング（例：ディリクレ分布のためのガンマ変量）を用いた再パラメトリゼーションテクニックを採用し、微分可能なサンプリングと勾配計算を可能にする。
• 2つの変種を導入：自然勾配を用いるSSVIと、適応的ステップサイズを用いるSSVI-A。両者とも効率的なオンライン学習を目的として設計されている。
• 行列の逆行列補題を用いて、十分統計量とフィッシャー行列の逆行列を効率的に計算することで、潜在ディリクレ配分（LDA）にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 グローバルパラメータとローカル潜在変数の間の構造的依存関係が、確率的変分ベイズ推論における事後分布近似を改善できるか？
• RQ2 平均場仮定を緩和することで、大規模なベイズモデルにおけるバイアスとハイパーパラメータへの感受性が低減するか？
• RQ3 確率的最適化を用いることで、構造的変分ベイズ推論を大規模データセットに効率的にスケーリングできるか？
• RQ4 予測精度と収束速度の観点から、SSVIは平均場SVIやギブスサンプリングに比べて優れているか？
• RQ5 マルチモーダルな事後分布において、標準的なSVIが直面する局所最適解を、SSVIはどの程度回避できるか？

主な発見

• 380万件のドキュメントを含むWikipediaデータセットにおいて、SSVIは平均場SVIに比べて顕著に高い予測精度を達成し、ギブスサンプリングに近い性能を示した。
• 自然勾配更新を用いたSSVIアルゴリズムは、すべてのハイパーパラメータ設定において平均場SVIを上回り、特に $ \alpha = 0.1 $ の場合に平均場SVIが著しく性能を落とす中で顕著な優位性を示した。
• 適応的ステップサイズを用いるSSVI-Aは、標準的なSVIに比べてさらにロバスト性が向上し、ハイパーパラメータへの感受性が低減した。
• CVB0とギブスサンプリングを用いた局所推論は、SSVIと組み合わせて使用した場合に同等の性能を示したが、平均場の局所更新では性能が低下した。
• 構造的近似により、近似バイアスが低減し、特にマルチモーダルな事後分布を示すモデルにおいて、悪い局所最適解を回避できた。
• 行列の逆行列補題を用いることで、ディリクレ分布のフィッシャー行列の逆行列を $ O(V) $ 時間で効率的に計算でき、スケーラブルな更新が可能になった。