[論文レビュー] Linear Response Methods for Accurate Covariance Estimates from Mean Field Variational Bayes

Ryan Giordano, Tamara Broderick+1 more|arXiv (Cornell University)|Jun 12, 2015

Probabilistic and Robust Engineering Design参考文献 24被引用数 33

ひとこと要約

本稿では、統計物理学における線形応答理論を用いて、平均場変分ベイズ（MFVB）の不正確な事後分散と相関を解析的に補正する Linear Response Variational Bayes（LRVB）を提案する。MFVB事後分布が指数型分布族に属する場合、LRVBはMFVB解に基づく線形系を解くことで、単純かつスケーラブルな補正を実行し、MCMCに匹敵する精度の不確実性推定を、MCMCと比べて桁違いに高速に達成する。

ABSTRACT

Mean field variational Bayes (MFVB) is a popular posterior approximation method due to its fast runtime on large-scale data sets. However, it is well known that a major failing of MFVB is that it underestimates the uncertainty of model variables (sometimes severely) and provides no information about model variable covariance. We generalize linear response methods from statistical physics to deliver accurate uncertainty estimates for model variables---both for individual variables and coherently across variables. We call our method linear response variational Bayes (LRVB). When the MFVB posterior approximation is in the exponential family, LRVB has a simple, analytic form, even for non-conjugate models. Indeed, we make no assumptions about the form of the true posterior. We demonstrate the accuracy and scalability of our method on a range of models for both simulated and real data.

研究の動機と目的

• 平均場変分ベイズ（MFVB）が事後分散を過小評価し、変数間の共分散を無視するという、長年の限界を是正すること。
• 大規模ベイズモデルにおける正確な不確実性評価のための一般的で計算効率の良い手法を開発すること。
• 統計物理学における線形応答法を、共役性や事後分布の特定の形を仮定せずに、指数型分布族の変分事後分布に拡張すること。
• MCMCと同等の精度で共分散推定を達成しながらも、MFVBの高速性を維持できるかを実証すること。
• 実世界のベイズ推論への広範な採用を促進するため、実用的でオープンソースの実装を提供すること。

提案手法

• LRVBは、統計物理学における線形応答理論を一般化し、MFVBの事後近似に対する補正を導出する。
• 共分散補正を、MFVB固定点解と変分目的関数のヘッシアンに基づく線形系の解として定式化する。
• この手法は、指数型分布族に属するMFVB事後分布に適用可能であり、真の事後分布の知識を必要とせず、解析的・閉形式の補正が可能である。
• ヘシアン行列のスパarsityを活用することで、大規模データセットや高次元パrameter空間においてもスケーラブルである。
• MFVB固定点を摂動することで補正を計算し、周辺分散と整合的に推定された変数間共分散の両方を捉える。
• コードスイートを用いて実装され、ガウス・ミックスチャネルモデルやMNISTの数字クラスタリングなど、多様なモデルに適用されている。

実験結果

リサーチクエスチョン

• RQ1 線形応答理論を非共役モデルにおける平均場変分ベイズの正確な解析的共分散補正に適応できるか？
• RQ2 実データおよびシミュレートデータにおいて、LRVBの不確実性推定の精度は、マルコフ連鎖モンテカルロ（MCMC）と比べてどの程度か？
• RQ3 さまざまなモデルサイズやデータ次元数において、LRVBの計算スケーリングはMFVBおよびMCMCと比べてどのようになるか？
• RQ4 有限ガウス・ミックスチャネルのような挑戦的なモデルにおいて、LRVBはMFVBの系統的な事後分散過小評価を信頼性高く補正できるか？
• RQ5 不確実性評価においてMCMCと同等の精度を維持しながら、LRVBはどの程度の速度を維持できるか？

主な発見

• MFVBが分散を桁違いに過小評価する状況下でも、LRVBはMCMCとほぼ同一の共分散推定を達成する。
• 有限ガウス・ミックスチャネルモデルにおいて、LRVBはMCMCの100倍以上も高速に正確な共分散推定を達成し、データサイズに対して線形スケーリング、パrameter次元に対して立方スケーリングを示した。
• MNISTの数字クラスタリングタスクでは、25次元の部分空間で精度の高い不確実性評価が可能となり、テスト誤差率は8%であった。これは、実世界データへの適用可能性を示している。
• この手法の計算効率は、ヘシアン行列のスパarsityを活用することで得られ、大規模データセットにおけるスケーラブルな推論を可能にしている。
• LRVBの解析的補正式は単純で、MFVB解から直接計算可能であり、追加のサンプリングや反復的最適化を必要としない。
• 真の事後分布の形に関する仮定を一切不要であるため、共役モデルに限らず広範に適用可能である。