[論文レビュー] Black Box Variational Inference

Rajesh Ranganath, Sean Gerrish+1 more|arXiv (Cornell University)|Dec 31, 2013

Gaussian Processes and Bayesian Inference参考文献 14被引用数 42

ひとこと要約

この論文は、変分分布からのモンテカルロサンプリングを用いて勾配を推定することで、高速でモデルに依存しない変分推論を可能にする一般化された確率的最適化フレームワーク、ブラックボックス変分推論（BBVI）を導入する。モデルフリーの分散低減技術（例：Rao-Blackwellization や制御変数）を適用することにより、ブラックボックスサンプリング手法よりも収束が速く、予測尤度が優れている。これにより、非共役な複雑なモデルの迅速な探索が可能になる。

ABSTRACT

Variational inference has become a widely used method to approximate posteriors in complex latent variables models. However, deriving a variational inference algorithm generally requires significant model-specific analysis, and these efforts can hinder and deter us from quickly developing and exploring a variety of models for a problem at hand. In this paper, we present a "black box" variational inference algorithm, one that can be quickly applied to many models with little additional derivation. Our method is based on a stochastic optimization of the variational objective where the noisy gradient is computed from Monte Carlo samples from the variational distribution. We develop a number of methods to reduce the variance of the gradient, always maintaining the criterion that we want to avoid difficult model-based derivations. We evaluate our method against the corresponding black box sampling based methods. We find that our method reaches better predictive likelihoods much faster than sampling methods. Finally, we demonstrate that Black Box Variational Inference lets us easily explore a wide space of models by quickly constructing and evaluating several models of longitudinal healthcare data.

研究の動機と目的

• モデル固有の変分推論アルゴリズムを導出するための解析的負担を軽減すること。
• 各モデルに対して膨大な導出作業を要せず、多様な確率的モデルの迅速なプロトタイピングと評価を可能にすること。
• 非共役および複雑な latent variable モデルに広く適用可能な汎用の推論手法を開発すること。
• ブラックボックスサンプリング手法と比較して収束速度と予測性能を向上させること。
• 縦断的および高次元のデータ設定におけるスケーラブルで効率的な事後分布近似を促進すること。

提案手法

• 変分推論を、変分分布からのモンテカルロサンプルを用いて勾配を推定するエビデンス下限値（ELBO）の確率的最適化として定式化する。
• ELBOの勾配を変分分布上の期待値として表現することで、バイアスのない確率的勾配推定が可能になる。
• 条件付き独立性を活用することで推定誤差の分散を低減するRao-Blackwellizationにより、分散低減を達成する。
• モデル固有の導出を必要としない、対数変分密度に基づく制御変数を用いて、さらに勾配の分散を低減する。
• 収束を加速し、大規模データセットにスケーリングするために、適応的学習率（例：AdaGrad）とデータサブサンプリングを採用する。
• 本手法は、モデルの対数尤度と対数変分密度の評価が可能であれば、任意のモデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 各モデルごとに最小限の導出作業で済ませられる、汎用的かつモデルに依存しない変分推論アルゴリズムを開発可能か？
• RQ2 モデル固有の計算を伴わず、確率的変分推論における勾配分散をどのように低減できるか？
• RQ3 提案されたブラックボックス手法は、収束速度と予測性能においてブラックボックスサンプリング手法を上回るか？
• RQ4 この手法は、実際の応用において、広範な複雑な非共役モデルの効率的探索を可能にするか？
• RQ5 本手法は大規模データセットおよび高次元の潜在空間にどのようにスケーリングするか？

主な発見

• BBVIは、メトロポリス・ハスティングス・イン・ギブス・サンプリングよりもはるかに速く、より優れた予測尤度を達成しており、収束速度の優位性が裏付けられている。
• ガンマ・ノルム・Tスケール（Gamma-Normal-TS）モデルは予測尤度 -32.7 を達成し、ガンマ・ガンマ・Tスケール（Gamma-Gamma-TS）モデル（-174）を上回った。これは縦断的構造と相関のモデリングが重要であることを示している。
• ガンマ・ガンマ（Gamma-Gamma）モデルは性能が低かった（尤度 -175）。これは、臨床検査値の負の相関を捉えられていないためと推測される。
• BBVIにより、縦断的医療データに対して4つの非共役モデルの迅速な評価が可能になった。これは、従来の変分推論手法を用いれば膨大な導出作業を要するものであった。
• 適応的学習率とデータサブサンプリングの使用により、スケーラビリティと収束速度が顕著に向上した。
• Rao-Blackwellization や制御変数といった分散低減技術は、収束を迅速に達成するために不可欠であり、本手法のブラックボックス性を維持する上で重要であった。