[論文レビュー] Nonparametric variational inference

Samuel J. Gershman, Matt Hoffman+1 more|arXiv (Cornell University)|Jun 18, 2012

Gaussian Processes and Bayesian Inference参考文献 20被引用数 45

ひとこと要約

この論文は、複雑で多次元の事後分布を、共役の指数型分布族の事前分布を必要とせずにモデル化する非パrametricな変分推論手法を提案する。カーネルの位置と帯域を変分パラメータとして扱うことで、周辺尤度の下界を最適化し、階層的ロジスティック回帰や非線形行列分解モデルにおいて、特化した変分法やサンプリング法と同等またはそれ以上の性能を達成する。

ABSTRACT

Variational methods are widely used for approximate posterior inference. However, their use is typically limited to families of distributions that enjoy particular conjugacy properties. To circumvent this limitation, we propose a family of variational approximations inspired by nonparametric kernel density estimation. The locations of these kernels and their bandwidth are treated as variational parameters and optimized to improve an approximate lower bound on the marginal likelihood of the data. Using multiple kernels allows the approximation to capture multiple modes of the posterior, unlike most other variational approximations. We demonstrate the efficacy of the nonparametric approximation with a hierarchical logistic regression model and a nonlinear matrix factorization model. We obtain predictive performance as good as or better than more specialized variational methods and sample-based approximations. The method is easy to apply to more general graphical models for which standard variational methods are difficult to derive.

研究の動機と目的

• 共役でないモデルや複雑な事後構造を扱う際の標準的変分推論の限界を解消すること。
• 共役の指数型分布族に依存しない柔軟な非パラメトリックな事後分布近似を可能にすること。
• 広範なグラフィカルモデルに適用可能なスケーラブルで汎用的な推論フレームワークの開発。
• 複数のカーネルを用いることで複数のモードを捉えることにより、事後分布近似の質を向上させること。
• 特化した変分法やMCMCベースの手法と同等またはそれ以上の予測性能を達成すること。

提案手法

• 学習可能な位置に配置されたカーネルの混合物を用いて変分近似を構築する。
• カーネルの帯域を変分パラメータとして扱い、カーネルの位置と併せて最適化する。
• 勾配に基づく最適化を用いて周辺尤度の変分下界を最大化する。
• カーネル密度近似により、複雑な事後分布の形状を柔軟に非パラメトリックにモデル化可能である。
• 標準的変分法の導出が困難な一般のグラフィカルモデルに対しても適用可能である。
• 指数型分布族に依存せず、パラメトリックな仮定を弱めるためにカーネルスムージングに依存する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックな変分近似は、複雑なモデルにおける多次元事後分布を効果的にモデル化できるか？
• RQ2 このカーネルベースの変分法は、特化した変分法やMCMCアプローチと比較してどの程度の性能を示すか？
• RQ3 共役性の欠如により標準的変分推論が困難なモデルに対しても、この手法は適用可能か？
• RQ4 カーネル帯域と位置の最適化が、変分近似の質に及ぼす影響は何か？
• RQ5 この手法は、指数型分布族に限定されない、さまざまな種類のグラフィカルモデルに一般化可能か？

主な発見

• 非パラメトリックな変分推論手法は、階層的ロジスティック回帰において、特化した変分法と同等またはそれ以上の予測性能を達成する。
• 非線形行列分解の問題では、標準的変分推論を上回り、MCMCベースの近似と同等またはそれ以上の予測精度を達成する。
• この手法は、標準的平均場変分推論がしばしば欠落する多次元モードを効果的に捉えることができる。
• カーネルの位置と帯域の最適化により、固定カーネルの代替手法に比べて周辺尤度の下界がタイトになる。
• このアプローチは頑健で一般化可能であり、標準的変分法の導出が困難なモデルに対しても効果的な推論を可能にする。