[論文レビュー] Model reparametrization for improving variational inference

Linda S. L. Tan|arXiv (Cornell University)|May 18, 2018

Gaussian Processes and Bayesian Inference被引用数 1

ひとこと要約

本稿では、局所変数とグローバル変数の事後的依存度を低下させることで、階層モデルにおける変分ベイズ推論を向上させるためのモデル再パラメータ化を提案する。可逆なアフィン変換を用い、局所条件付き事後分布の2次テイラー展開により導出されるこの手法は、一般化線形混合モデルにおいて、最先端のガウス型変分推論と比較して、精度と収束速度の両方を向上させる。

ABSTRACT

We propose using model reparametrization to improve variational Bayes inference for hierarchical models whose variables can be classified as global (shared across observations) or local (observation specific). Posterior dependence between local and global variables is minimized by applying an invertible affine transformation on the local variables. The functional form of this transformation is deduced by approximating the posterior distribution of each local variable conditional on the global variables by a Gaussian density via a second order Taylor expansion. Variational Bayes inference for the reparametrized model is then obtained using stochastic approximation. Our approach can be readily extended to large datasets via a divide and recombine strategy. Using generalized linear mixed models, we demonstrate that reparametrized variational Bayes (RVB) provides improvements in both accuracy and convergence rate compared to state of the art Gaussian variational approximation methods.

研究の動機と目的

• 階層ベイズモデルにおけるグローバル変数とローカル変数の間の事後的依存度を低減すること。
• 複雑な階層モデルにおける変分ベイズ推論の精度と収束速度を向上させること。
• 分割統合戦略を用いて大規模データセットに適したスケーラブルな推論手法を開発すること。
• より良い事後分布近似が得られるよう、モデル再パラメータ化を組み込んだガウス型変分近似手法を拡張すること。

提案手法

• ローカル変数に可逆なアフィン変換を適用し、グローバル変数から分離させる。
• 各ローカル変数の条件付き事後分布の2次テイラー展開を用いて、変換パラメータを導出する。
• この展開を用いて、ローカル変数の条件付き事後分布をガウス分布として近似する。
• 確率的近似を用いて再パラメータ化されたモデル上で変分推論を実行する。
• 大規模データセットへのスケーリングを実現するため、分割統合戦略を採用する。
• 再パラメータ化されたモデルを用いて、一般化線形混合モデルにおける事後平均と分散の推定値を改善する。

実験結果

リサーチクエスチョン

• RQ1 グローバル変数とローカル変数の間の事後的依存度をどのように低減することで、変分推論を改善できるか？
• RQ2 階層モデルにおいて、より良い事後分布近似が得られる変換戦略は何か？
• RQ3 再パラメータ化は、大規模データセットにおける変分ベイズ推論の収束速度と精度を向上させ得るか？
• RQ4 提案手法は、階層モデルにおける既存のガウス型変分推論手法と比較して、どのように異なるか？
• RQ5 分割統合戦略を用いることで、再パラメータ化手法はどの程度スケーラブルに拡張可能か？

主な発見

• 再パラメータ化された変分ベイズ（RVB）は、一般化線形混合モデルにおいて、最先端のガウス型変分近似手法よりも高い精度を達成する。
• RVBは、既存の変分推論手法と比較して、より速い収束速度を示す。
• 最適なアフィン変換を用いることで、グローバル変数とローカル変数の間の事後的依存度が効果的に低減される。
• 2次テイラー近似を用いることで、ローカル条件付き事後分布をガウス分布として精度良く近似できる。
• 分割統合戦略により、大規模データセット上での推論がスケーラブルに実現されつつ、精度を保持できる。
• 実験結果から、RVBが階層モデルにおける推定精度と収束効率の両方を向上させることを確認した。