[論文レビュー] Statistical Inference in Mean-Field Variational Bayes

Wei Han, Yun Yang|arXiv (Cornell University)|Nov 4, 2019

Bayesian Methods and Mixture Models参考文献 45被引用数 8

ひとこと要約

本稿は、潜在変数を伴う正則なパrametricモデルにおける平均場変分ベイズの非漸近的理論的保証を確立し、平均場近似の中心が高次の項を除いて最尤推定量（MLE）に収束することを示している。また、MCMCのチューニングを不要にし、並列計算を可能にする後退的近似の不確実性評価のための新しい変分加重尤度ブートストラップ（VWLB）手法を導入している。

ABSTRACT

We conduct non-asymptotic analysis on the mean-field variational inference for approximating posterior distributions in complex Bayesian models that may involve latent variables. We show that the mean-field approximation to the posterior can be well-approximated relative to the Kullback-Leibler divergence discrepancy measure by a normal distribution whose center is the maximum likelihood estimator (MLE). In particular, our results imply that the center of the mean-field approximation matches the MLE up to higher-order terms and there is essentially no loss of efficiency in using it as a point estimator for the parameter in any regular parametric model with latent variables. We also propose a new class of variational weighted likelihood bootstrap (VWLB) methods for quantifying the uncertainty in the mean-field variational inference. The proposed VWLB can be viewed as a new sampling scheme that produces independent samples for approximating the posterior. Comparing with traditional sampling algorithms such Markov Chain Monte Carlo, VWLB can be implemented in parallel and is free of tuning.

研究の動機と目的

• 潜在変数を伴うモデルにおける平均場変分ベイズの非漸近的理論的裏付けを提供すること。
• 平均場近似を点推定量として用いた場合の、MLEに対する統計的効率性を調査すること。
• MCMCのチューニングに依存せず、並列計算を可能にする不確実性評価のための新しい手法を開発すること。
• 真の変分後退分布と平均場近似の間のKullback-Leibler（KL）ダイバージェンスに対する理論的バインドを確立すること。

提案手法

• 最尤推定量を中心とする正規分布と平均場近似 $ Q_{\theta} $ の間のKLダイバージェンスに対する非漸近的バインドを導出する。
• 観察済みおよび欠損成分に分解されたフィッシャー情報行列 $ I_c(\theta^*) = I(\theta^*) + I_s(\theta^*) $ を用いて乖離を分析する。
• 変分目的関数を最尤推定量の周囲で2次テイラー展開することで、平均場中心が $ O(\alpha_n) $ の誤差を除いて最尤推定量に近いことを示す。
• 変分加重尤度ブートストラップ（VWLB）を導入し、チューニングなしに独立した後退的後退分布からのサンプルを生成する新しいサンプリング方式を提供する。
• VWLBサンプルが後退的後退分布の近似として漸近的に有効であり、並列計算が可能であることを確立する。
• KLダイバージェンスの恒等式とサブガウス型尾部仮定を組み合わせて、平均場近似と真の変分後退分布との距離をバインドする。

実験結果

リサーチクエスチョン

• RQ1 真の後退分布とのKLダイバージェンスの観点から、平均場近似はどの程度正確に後退分布を近似できるか？
• RQ2 潜在変数を伴う正則なパラメトリックモデルにおいて、平均場近似の中心は最尤推定量（MLE）に対して統計的に効率的か？
• RQ3 MCMCに依存せず、不確実性評価のための新しいサンプリング手法を構築できるか？
• RQ4 真の後退分布が完全に因子分解されない場合の、平均場近似の非漸近的理論的性質は何か？
• RQ5 潜在変数が存在する状況下で、変分目的関数は最尤推定量および観察されたフィッシャー情報行列とどのように関係するか？

主な発見

• 平均場近似の中心 $ \mu_{\widehat{Q}_\theta} $ は、$ \alpha_n $ に依存するレートで最尤推定量 $ \widehat{\theta}_{\text{MLE}} $ に収束し、$ n(\mu_{\widehat{Q}_\theta} - \widehat{\theta}_{\text{MLE}})^T I_s(\theta^*) (\mu_{\widehat{Q}_\theta} - \widehat{\theta}_{\text{MLE}}) \leq C\alpha_n $ を満たす。
• 平均場近似 $ \widehat{Q}_\theta $ と真の変分後退分布 $ Q^*_{VB} $ の間のKLダイバージェンスは $ C'\alpha_n $ でバインドされ、高い精度を示している。
• 平均場近似は、最尤推定量を中心とし、分散が $ [nI(\theta^*)]^{-1} $ の正規分布で、わずかな誤差項を除いてよく近似される。
• 変分加重尤度ブートストラップ（VWLB）は、チューニングなしに独立した有効な後退分布からのサンプルを生成でき、並列計算が可能である。
• 平均場近似と最尤推定量を中心とする正規分布とのKLダイバージェンスは $ O(\alpha_n) $ でバインドされ、最尤推定量が良好な中心であることが確認された。
• MCMCや複雑なチューニングを必要とせず、推定の一貫性と不確実性評価を達成でき、大規模モデルに適している。