[論文レビュー] The variational Laplace approach to approximate Bayesian inference

Jean Daunizeau|arXiv (Cornell University)|Mar 2, 2017

Bayesian Methods and Mixture Models参考文献 6被引用数 16

ひとこと要約

本稿では、連続的およびカテゴリカルなデータを伴う非線形モデルにおける近似ベイズ推論の計算的に効率的な手法として、変分ラプラス（VL）手法を提示する。モデルパラメータの後部分布に対するガウス近似を用いることで、VLは迅速なパラメータ推定とモデル選択を可能にし、収束の理論的分析およびハイパーパrameterを含む階層モデルへの実用的拡張も可能である。

ABSTRACT

Variational approaches to approximate Bayesian inference provide very efficient means of performing parameter estimation and model selection. Among these, so-called variational-Laplace or VL schemes rely on Gaussian approximations to posterior densities on model parameters. In this note, we review the main variants of VL approaches, that follow from considering nonlinear models of continuous and/or categorical data. En passant, we also derive a few novel theoretical results that complete the portfolio of existing analyses of variational Bayesian approaches, including investigations of their asymptotic convergence. We also suggest practical ways of extending existing VL approaches to hierarchical generative models that include (e.g., precision) hyperparameters.

研究の動機と目的

• 近似ベイズ推論における変分ラプラス（VL）手法の包括的レビューを提供すること。
• VLアプローチの理論的性質、特に漸近的収束性を分析すること。
• 精度ハイパーパrameterを含む階層生成モデルへの既存のVLフレームワークの拡張すること。
• 連続的およびカテゴリカルなデータを含む複雑なモデリング状況におけるVLの実装に関する実用的ガイドラインを提供すること。
• 変分ベイズ手法の理論的枠組みを、新たな解析的結果で補完すること。

提案手法

• 本手法は、平均および共分散のラプラス近似を活用して、モデルパラメータの後部分布に対するガウス近似を用いる。
• 自由エネルギーの最小化を通じて変分推論を定式化し、真の後部分布のガウス近似のパラメータに関して最適化を行う。
• 非線形モデルに適用する際には、適切な尤度関数とリンク関数を用いて、連続的およびカテゴリカルなデータを扱う。
• 階層モデルでは、ハイパーパラメータ（例：精度パラメータ）を変分近似における潜在変数として扱うことで、それらをフレームワークに統合する。
• 理論的分析には、正則性条件下での収束性が含まれ、導出はラプラス近似および変分計算に基づく。
• 変分自由エネルギーおよびその勾配の解析的解が得られることで、計算が効率化される。

実験結果

リサーチクエスチョン

• RQ1 混合連続的およびカテゴリカルなデータを伴う非線形モデルに対して、変分ラプラス手法を体系的に適用する方法は何か？
• RQ2 大標本極限における変分ラプラス近似の理論的収束性はいかなるものか？
• RQ3 精度などのハイパーパラメータを変分推論フレームワークにどのように統合できるか？
• RQ4 既存の変分ベイズ手法の分析を補完する新たな理論的知見は何か？
• RQ5 階層的生成モデルにVLを適用するために必要な実用的拡張は何か？

主な発見

• 変分ラプラス手法は、非線形モデルにおけるベイズ推論のための、マルコフ連鎖モンテカルロ法の高速かつスケーラブルな代替手法を提供する。
• 正則性条件下で漸近的一貫性を達成し、大標本極限において真の後部分布に収束する。
• 理論的分析により、変分自由エネルギーが周辺尤度の下界を提供することが確認され、モデル比較が可能になる。
• ハイパーパラメータを変分分布に含めることで、階層モデルへの拡張が可能となり、パラメータとハイパーパラメータの同時推定が可能になる。
• 解析的勾配を用いた最適化が可能であり、サンプリングに基づく手法と比較して計算コストを低減できる。
• 本稿では、特に複雑なモデルにおけるラプラス近似の挙動に関して、既存の文献を補完する新たな理論的結果を導出している。