[論文レビュー] Variational Gaussian Copula Inference

Shaobo Han, Xuejun Liao+2 more|arXiv (Cornell University)|Jun 19, 2015

Bayesian Methods and Mixture Models参考文献 35被引用数 5

ひとこと要約

本稿では、ガウス・コプゥラを用いた依存構造モデリングと、ベルンシュタイン多項式を用いた柔軟な非パラメトリック単変量マージンによる事後分布近似の分離を実現する変分ガウス・コプゥラ推論フレームワークを提案する。スクラーの定理と確率的最適化を活用することで、非共役な階層ベイズモデルにおいて、正確で自動化された事後分布近似を達成し、ガウス・マージンとポアソン回帰の両タスクにおいて、ELBOと事後分布の忠実度において、平均場法や変分ガウス法を上回る性能を発揮した。

ABSTRACT

We utilize copulas to constitute a unified framework for constructing and optimizing variational proposals in hierarchical Bayesian models. For models with continuous and non-Gaussian hidden variables, we propose a semiparametric and automated variational Gaussian copula approach, in which the parametric Gaussian copula family is able to preserve multivariate posterior dependence, and the nonparametric transformations based on Bernstein polynomials provide ample flexibility in characterizing the univariate marginal posteriors.

研究の動機と目的

• 複雑な事後依存構造、歪度、多峰性、非ガウス的マージンを同時に捉えきれない既存の変分推論手法の限界を是正すること。
• 連続的で非ガウス的潜在変数を有する階層ベイズモデルにおける統一的で自動化された変分推論フレームワークの開発。
• 事後分布近似をコプゥラによる依存構造モデリングと非パラメトリック変換によるマージンモデリングに分離し、柔軟で解釈可能な推論を可能にすること。
• 最小限のモデル固有の導出で済むブラックボックス変分推論を可能にしつつ、多次元依存構造と複雑なマージン形状を保持すること。
• MCMC や INLA に対するスケーラブルで実行可能なかわりに、非共役尤度を有する潜在ガウスモデルの代替手法を提供すること。

提案手法

• 本手法はスクラーの定理を用いて、変分事後分布をコプゥラ密度と単変量マージン密度の積として表現し、依存構造とマージン構造の分離を可能にする。
• 多次元事後分布の依存構造をモデリングするためにガウス・コプゥラ族を用い、パrameterは確率的変分推論により最適化する。
• 非パラメトリックな単変量マージンはベルンシュタイン多項式でモデリングし、共役事前分布を必要とせず、任意のマージン事後分布を滑らかで柔軟に近似可能である。
• 連合変分密度は $ q_{\text{VC}}(\boldsymbol{x}) = c_{\boldsymbol{\Theta}}(F_1(x_1), \dots, F_p(x_p)) \prod_{j=1}^p f_j(x_j) $ として構築され、ここで $ F_j $ は累積分布関数、$ c_{\boldsymbol{\Theta}} $ はコプゥラ密度である。
• 再パラメトリゼーションと自動微分を用いて勾配を計算し、確率的最適化により下界尤度（ELBO）を最大化する。
• 本手法は VGC-BP（ベルンシュタイン多項式）および VGC-LN（対数正規）として実装され、VGC-BP は ELBO と事後分布の精度において優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 コプゥラベースの変分推論フレームワークは、階層ベイズモデルにおいて、複雑な事後依存構造と柔軟で非ガウス的単変量マージンを同時にモデリングできるか？
• RQ2 非パラメトリックマージン推定にベルンシュタイン多項式を用いることで、パラメトリックまたは平均場法の代替手法に比べ、事後分布近似がどの程度改善されるか？
• RQ3 ガウス・コプゥラは非ガウス的事後分布において、多次元依存構造をどの程度正確に保持できるか？ また、より複雑なコプゥラ族と比較してどうなるか？
• RQ4 提案手法は、最小限のモデル固有の導出で済むブラックボックス推論を達成できるか？ また、ELBO と事後分布の精度は競争力を持つか？
• RQ5 非共役モデルにおける複雑な事後分布に対して、変分コプゥラ手法は MCMC や INLA と比較してどの程度の性能を示すか？

主な発見

• ガウス・ミックスチャネル・モデルにおいて、VGC-BP は ELBO 0.3277 を達成し、MFVB（-1.0778）や VGC-LN-diag（-1.2399）を著しく上回った。
• ポアソン対数線形回帰タスクでは、VGC-BP が MCMC の基準解とよく一致するマージンおよびペアワイズ事後分布を生成し、高い精度を示した。
• 本手法は、正確な事後分布が不明な非共役モデルにおいても、歪度や多峰性といった非ガウス的特徴を的確に捉えた。
• ベルンシュタイン多項式の使用により、共役事前分布を必要とせず、パrameter空間の離散化も不要な柔軟な非パラメトリックマージン推定が可能になった。
• 変分コプゥラフレームワークは、解析的コプゥラと柔軟なマージンを持つ閉形式の事後分布近似を提供し、高速な事後分布シミュレーションが可能であり、MCMC におけるプロポーザルとしても利用可能である。
• 本手法は、重たい尾を持つや歪度のある事後分布を含む多様なモデルにおいてもスケーラビリティとロバストネスを示し、問題固有の導出を一切必要としなかった。