[論文レビュー] Covariances, Robustness, and Variational Bayes

Ryan Giordano, Tamara Broderick+1 more|arXiv (Cornell University)|Sep 8, 2017

Statistical Methods and Bayesian Inference参考文献 42被引用数 57

ひとこと要約

本論文は MFVB の不確実性推定を改善するために線形応答変分ベイズ（LRVB）共分散を導出し、MFVB の後方分布の無限小撹乱への感度を利用して、MCMC と比較して高速で正確な共分散を示す。

ABSTRACT

Mean-field Variational Bayes (MFVB) is an approximate Bayesian posterior inference technique that is increasingly popular due to its fast runtimes on large-scale datasets. However, even when MFVB provides accurate posterior means for certain parameters, it often mis-estimates variances and covariances. Furthermore, prior robustness measures have remained undeveloped for MFVB. By deriving a simple formula for the effect of infinitesimal model perturbations on MFVB posterior means, we provide both improved covariance estimates and local robustness measures for MFVB, thus greatly expanding the practical usefulness of MFVB posterior approximations. The estimates for MFVB posterior covariances rely on a result from the classical Bayesian robustness literature relating derivatives of posterior expectations to posterior covariances and include the Laplace approximation as a special case. Our key condition is that the MFVB approximation provides good estimates of a select subset of posterior means---an assumption that has been shown to hold in many practical settings. In our experiments, we demonstrate that our methods are simple, general, and fast, providing accurate posterior uncertainty estimates and robustness measures with runtimes that can be an order of magnitude faster than MCMC.

研究の動機と目的

• Mean-Field Variational Bayes (MFVB) における事後不確実性推定の改善の必要性を動機づける。
• 摂動理論を用いて MFVB 後方共分散を推定する感度ベースの枠組みを開発する。
• ベイズ頑健性の概念を変分ベイズと結びつけ、局所頑健性指標を得る。
• LRVB 共分散は様々な設定で計算が高速で、MCMC と比較して正確であることを示す。

提案手法

• 事後期待値の局所感度を無限小のハイパーパラメータ摂動に対して定義する。
• 事後期待値の導関数が摂動項を含む共分散に等しいことを証明する（定理1）。
• 変分ベイズ (VB) の枠組みを導入し、VB感度の閉形式線形系を導出する（定理2）。
• LRVB 共分散を g_eta H_eta_eta^{-1} g_eta^T として事後共分散を推定する（定義6）。
• VB 感度の結果から事前感度指標を得る方法を示す（セクション4）。

実験結果

リサーチクエスチョン

• RQ1 感度分析から MFVB 後方共分散を一貫して推定するにはどうすればよいか？
• RQ2 LRVB 共分散はより高速な計算を維持しつつ MCMC ベースの共分散に近似できるか？
• RQ3 VB 感度理論はMFVBの実用的な事前頑健性指標を生むことができるか？
• RQ4 MFVB が共分散推定のための正確な局所感度を提供する条件は何か？

主な発見

• LRVB は実験で MCMC 共分散と緊密に一致する共分散推定を提供し、かつ桁違いに高速である。
• MFVB 単独は分散を過小評価し、成分間共分散を捉えられないが、LRVB は感度を介してこれを回復する。
• 後方平均と摂動との相関は、効率的な局所頑健性分析とハイパーパラメータ感度を可能にする。
• H_eta_eta^{-1} 構造によりLRVBは半正定値、対称な共分散推定を与え、標準のMFVBより信頼性を向上させる。