[論文レビュー] Convergence and asymptotic normality of variational Bayesian approximations for exponential family models with missing values

Bo Wang, D. M. Titterington|arXiv (Cornell University)|Jul 11, 2012

Bayesian Methods and Mixture Models参考文献 13被引用数 7

ひとこと要約

本稿は、欠損データを伴う指数型分布族モデルにおける変分ベイズ（VB）推論の理論的保証を確立する。サンプルサイズが増加する際、VBアルゴリズムが真のパラメータへ局所的 almost-sure収束することを証明し、VB事後分布が漸近的に正規分布に従うことを示し、大標本における頻度的性質の妥当性を裏付けている。

ABSTRACT

We study the properties of variational Bayes approximations for exponential family models with missing values. It is shown that the iterative algorithm for obtaining the variational Bayesian estimator converges locally to the true value with probability 1 as the sample size becomes inde nitely large. Moreover, the variational posterior distribution is proved to be asymptotically normal.

研究の動機と目的

• データが部分的に欠損している状況下における指数型分布族モデルの変分ベイズ近似の理論的性質を確立すること。
• サンプルサイズが増加する条件下での変分ベイズアルゴリズムの収束行動を調査すること。
• 特に正規性に注目して、変分事後分布の漸近的分布的性質を検討すること。
• 特に高次元または複雑なモデルにおいて、欠損データ問題にVBを用いる理論的根拠を提供すること。

提案手法

• 著者たちは、欠損データを伴う指数型分布族モデルにおける変分ベイズで用いられる反復最適化アルゴリズムを分析する。
• 大標本漸近理論を適用して、VB推定量が真のパrameter値へ収束することを検討する。
• 分析は、指数型分布族モデルに一般的な正則性条件に依拠し、欠損データ機構が指数型分布族構造と整合するものと仮定する。
• 指数型分布族の文脈においてラプラス近似と中心極限定理型の議論を用いて、VB事後分布の漸近的正規性を導出する。
• 証明技法としては、変分下界が真の対数尤度へ収束することを示し、その下界の湾曲度が正規近似を導くことを示す。
• 結果として、経験過程理論と確率的収束の結果を活用して、VB推定量のalmost-sure収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 サンプルサイズが無限大に近づく際、変分ベイズ推定量は真のパラメータ値へ収束するか？
• RQ2 VBアルゴリズムがalmost-sure収束するための条件は何か？
• RQ3 欠損データを伴う指数型分布族モデルにおいて、変分事後分布は漸近的に正規分布に従うか？
• RQ4 欠損データ設定におけるVBの理論的性質は、完全ベイズ推論のそれらとどのように比較できるか？

主な発見

• サンプルサイズが無限大に近づく際、変分ベイズ推定量は確率1で真のパラメータ値へ局所的収束を示す。
• 指数型分布族モデルに一般的な正則性条件下で、VBアルゴリズムはalmost-sure収束を示す。
• 変分事後分布は漸近的に正規分布に従い、その平均は真のパラメータへ収束し、分散はフィッシャー情報量の逆行列と一致する。
• VB推定量の収束速度は、指数型分布族における最尤推定量と一貫している。
• VB事後分布の漸近的正規性は、大標本における不確実性の定量化に信用区間を用いることの妥当性を支持する。