[論文レビュー] Variational Boosting: Iteratively Refining Posterior Approximations

Andrew C. Miller, Nicholas J. Foti+1 more|arXiv (Cornell University)|Nov 20, 2016

Advanced Multi-Objective Optimization Algorithms被引用数 62

ひとこと要約

この論文では、段階的に構造化された成分（最初に平均場、次に低ランク、最後に混合成分）を追加することで、後方分布の近似を段階的に改善する順次変分推論手法「Variational Boosting」を紹介する。この手法は、階層ベイズ回帰、ポアソンGLM、ベイズニューラルネットワークのモデルにおいて、平均場VIよりも著しく高い精度の後方分布推定を達成し、MCMCに近い精度にまで到達する。特に非ガウス型の相関構造や異分散性を捉える能力に優れている。

ABSTRACT

We propose a black-box variational inference method to approximate intractable distributions with an increasingly rich approximating class. Our method, termed variational boosting, iteratively refines an existing variational approximation by solving a sequence of optimization problems, allowing the practitioner to trade computation time for accuracy. We show how to expand the variational approximating class by incorporating additional covariance structure and by introducing new components to form a mixture. We apply variational boosting to synthetic and real statistical models, and show that resulting posterior inferences compare favorably to existing posterior approximation algorithms in both accuracy and efficiency.

研究の動機と目的

• 高次元かつ非共役なモデルにおける平均場変分推論の限界を克服し、複雑な後方分布の依存構造を捉えること。
• スケーラブルで反復的な手法を開発し、対角行列、低ランク、混合ガウス分布といった構造化された成分を段階的に追加することで、非ガウス型の後方分布形状をよりよくモデル化すること。
• 段階的な成分追加が、計算効率を保ちつつ、モーメント推定においてMCMCに相当する精度に到達できるかどうかを評価すること。
• 多様なモデル—階層ベイズ回帰、ポアソンGLM、ベイズニューラルネットワーク—における本手法の有効性を実証すること。

提案手法

• 各新しい成分が後方分布近似を改善する順次最適化フレームワークを採用し、初期は平均場ベースから開始する。
• 各新しい成分は、指定された構造を持つ多変量正規分布である：初期段階では対角行列、次にランク1からランク3までの低ランク、最後にそれらの混合成分。
• 各成分のパラメータは、自動微分（autograd）を用いた確率的勾配降下法で最適化され、勾配推定には1成分あたり400サンプルが使用される。
• 各ステップで変分下界（ELBO）が最大化され、各新しい成分が真の後方分布の近似を改善する。
• すべての実験において、後方モーメントの基準としてNo-U-Turn Sampler（NUTS）を用いる。
• 本手法は、20次元の階層ベイズ回帰モデル、37次元のポアソンGLM、50個の隠れユニットを持つベイズニューラルネットワークという3つの実世界モデルに適用された。

実験結果

リサーチクエスチョン

• RQ1 構造化された成分による段階的改善によって、平均場VIを上回る後方分布推定が可能になるか？
• RQ2 低ランクおよび混合ガウス成分は、階層モデルにおける非ガウス型の後方相関をどの程度正確に捉えることができるか？
• RQ3 ブースティングの各段階で追加される成分ごとに、モーメント推定（分散および共分散）の精度はどのように向上するか？
• RQ4 ベイズニューラルネットワークのような複雑で高次元なモデルにおいて、Variational BoostingはMCMCに近い後方分布近似を達成できるか？

主な発見

• 階層ベイズ回帰モデルでは、Variational BoostingはNUTSによる後方周辺分布と非常に近い結果を示し、平均場VIに比べて一変量および二変量分布の両方で顕著に優れていた。
• 20次元の野球モデルでは、成分を段階的に追加することで共分散推定誤差が徐々に減少し、最終的な近似がMCMCに基づく推定と非常に近い値に一致した。
• 37次元のポアソンGLMでは、ガウス成分のランクを0から3に引き上げることで、周辺分散推定の精度が向上し、さらに混合成分を追加することで、特に相関が高い方向での誤差がさらに低減された。
• friskモデルにおけるランク3の混合成分の導入により、周辺標準偏差の最大の過小評価が約15％から5％未満にまで低下した。
• 対の共分散に関しては、各成分の追加に伴い近似精度が向上し、8成分の混合モデルではMCMC推定と高い相関を示した。
• ベイズニューラルネットワークでは、Variational BoostingはProbabilistic Backpropagation（PBP）と同等の予測性能を達成し、高次元かつ非共役な設定においても有効性を示した。