[論文レビュー] Fast Variational Inference in the Conjugate Exponential Family

James Hensman, Magnus Rattray+1 more|arXiv (Cornell University)|Jun 22, 2012

Gaussian Processes and Bayesian Inference参考文献 18被引用数 78

ひとこと要約

この論文は、共役指数型分布族モデルにおける高速な変分推論のための統一フレームワークを提示する。コラプスド変分バウンドを導出し、共役勾配法による効率的な最適化を可能にする。標準的な変分推論と比較して、最大10倍の高速化を達成し、ガウス・ミックスチャネル、LDA、RNA-Seqモデルにおいて、収束性能の顕著な向上が実証された。

ABSTRACT

We present a general method for deriving collapsed variational inference algo- rithms for probabilistic models in the conjugate exponential family. Our method unifies many existing approaches to collapsed variational inference. Our collapsed variational inference leads to a new lower bound on the marginal likelihood. We exploit the information geometry of the bound to derive much faster optimization methods based on conjugate gradients for these models. Our approach is very general and is easily applied to any model where the mean field update equations have been derived. Empirically we show significant speed-ups for probabilistic models optimized using our bound.

研究の動機と目的

• 共役指数型分布族モデルに適用可能な、既存のコラプスド変分推論手法を統一するフレームワークの構築。
• 曲率を活用した最適化を可能にする、周辺尤度に対する新たな下界の導出。
• コラプスドバウンドの情報幾何を活用し、共役勾配法による効率的な最適化を可能にする。
• Infer.NETのような自動推論ツールへの統合を容易にするために、汎用的で即座に利用可能な方法を提供。
• LDA や RNA-Seq のような大規模モデルにおいて、収束の著しい高速化を実証。

提案手法

• KL補正バウンドフレームワークを用いて、統一されたコラプスド変分バウンドを導出。これにより、先行研究の手法が一括して統合される。
• d-分離テストを適用し、解析的に周辺化可能な潜在変数を同定。これにより最適化の地形が単純化される。
• 標準的な変分推論をコラプスドバウンドにおける勾配上昇（steepest ascent）として再定式化。これにより、自然勾配法や共役勾配法による最適化が可能になる。
• バウンドの情報幾何を活用し、曲率に配慮した探索方向を計算。これにより、より大きなステップで効率的な最適化が可能になる。
• コラプスドバウンド上で、Fletcher-ReevesおよびHestenes-Steifelの変種を含む共役勾配法を適用。収束を加速する。
• 既存の平均場アルゴリズムへの最小限のコード変更で実装可能。VBEMから共役勾配最適化に切り替えるには、わずかな修正のみで可能。

実験結果

リサーチクエスチョン

• RQ1 すべての共役指数型分布族モデルに適用可能な、コラプスド変分推論の統一フレームワークを開発できるか？
• RQ2 最適化の効率性において、コラプスド変分バウンドは標準的な平均場変分推論と比べてどのように異なるか？
• RQ3 共役勾配法は、大規模な確率的モデルにおける収束を著しく高速化できるか？
• RQ4 曲率に配慮した最適化は、収束速度と解の品質にどのような影響を与えるか？
• RQ5 この手法は、Infer.NETのような自動推論エンジンにどの程度容易に統合可能か？

主な発見

• LDAモデルでは、Fletcher-Reeves共役勾配法により最適化時間を370分から38.5分に短縮し、90％の高速化を達成。
• RNA-Seqモデルでは、共役勾配法が268イテレーション（1イテレーションあたり8秒）で収束した。一方、標準VBEMでは4,459イテレーションを要し、時間は約11時間から約40分に短縮された。
• コラプスドバウンドが標準的な平均場バウンドよりも厳密にタイトであることが示された。これにより、より大きな最適化ステップが可能になり、収束が速くなった。
• 標準VBEMが良い解を発見できなかったガウス混合モデルにおいても、本手法は収束を達成し、より高いロバストネスを示した。
• 既存の推論パイプラインへの統合が容易であり、VBEMから共役勾配最適化に切り替えるには数行のコード変更で可能。
• 実験結果から、本手法は多様なモデルにおいて標準VBEMを常に上回り、最大で10倍の高速化が達成された。