[論文レビュー] Population Empirical Bayes

Alp Kucukelbir, David M. Blei|arXiv (Cornell University)|Nov 2, 2014

Gaussian Processes and Bayesian Inference参考文献 1被引用数 4

ひとこと要約

この論文は、潜在データセット変数を通じて経験的母集団分布を事前分布としてモデル化することにより、予測精度を向上させる階層ベイズ枠組みであるパopulation Empirical Bayes (pop-eb) を導入する。ブートストラップリサンプリングと確率的変分推論（bump-vi）を用いて予測密度を最適化し、回帰、混合モデル、トピックモデルにおいて古典的ベイズ推論を上回る性能を示す。

ABSTRACT

Bayesian predictive inference analyzes a dataset to make predictions about new observations. When a model does not match the data, predictive accuracy suffers. We develop population empirical Bayes (POP-EB), a hierarchical framework that explicitly models the empirical population distribution as part of Bayesian analysis. We introduce a new concept, the latent dataset, as a hierarchical variable and set the empirical population as its prior. This leads to a new predictive density that mitigates model mismatch. We efficiently apply this method to complex models by proposing a stochastic variational inference algorithm, called bumping variational inference (BUMP-VI). We demonstrate improved predictive accuracy over classical Bayesian inference in three models: a linear regression model of health data, a Bayesian mixture model of natural images, and a latent Dirichlet allocation topic model of scientific documents.

研究の動機と目的

• モデル不一致が真のデータ生成プロセスを反映しない場合に予測精度が低下するのを是正する。
• モデルの正しさを仮定せずに経験的母集団分布をベイズ分析に統合するフレームワークを構築する。
• 線形回帰、ガウス混合モデル、トピックモデルなどの複雑なモデルにおける予測性能を向上させる。
• ベイズ的整合性を保ちつつモデル不適合に対して頑健な、スケーラブルで効率的な推論手法を提供する。

提案手法

• 経験的母集団分布を潜在データセット変数を通じて事前分布として扱う階層モデルを提案する。
• 元のデータからB個のデータセットをブートストラップリサンプリングで生成し、それぞれを用いて事後分布と予測密度を計算する。
• 元のデータにおける予測精度に基づいて、最良のブートストラップデータセット（X.b⇤）を選択する。
• 局所的変分パラメータの再重み付けにより、ブートストラップサンプル全体にわたる勾配を効率的に計算する、バウンディング変分推論（bump-vi）を導入する。
• 変分推論におけるローカル・グローバル分離：観測毎に局所変数を最適化し、確率的勾配上昇によりグローバル変数を更新する。
• サブサンプリングの同等性を用いてブートストラップリサンプリングに置き換え、全再訓練なしにブートストラップデータセット全体で勾配計算を効率化する。

実験結果

リサーチクエスチョン

• RQ1 経験的母集団分布をモデル化することで、不適切なモデルにおけるベイズ予測精度が向上するか？
• RQ2 仮定されたモデルが誤りである場合、pop-ebは古典的ベイズ推論と比べてどのように異なるか？
• RQ3 スケーラブルな変分推論手法を、パopulation Empirical Bayesに適合させ、予測性能を維持できるか？
• RQ4 ブートストラップリサンプリングを用いて母集団分布を組み込むことで、ベイズ予測の感受性が低下するか？
• RQ5 回帰、混合モデル、トピックモデルなど多様なモデルにおいて、pop-ebはどのように性能を発揮するか？

主な発見

• 表1に示すように、健康データにおける線形回帰モデルにおいて、pop-ebは古典的ベイズ推論を上回る予測精度を示す。
• 自然画像のベイジアンガウス混合モデルにおいて、図5に示すように、pop-ebの予測密度は標準的ベイズ推論よりも真のデータ分布に近い。
• 科学文書の潜在ディリクレ配分モデルにおいて、図7に示すように、pop-ebの予測密度は標準的ベイズ推論よりも経験的母集団により近い。
• バウンディング変分推論（bump-vi）により、ブートストラップサンプル全体にわたる局所的変分パラメータの再重み付けによって、pop-ebの計算が効率化され、完全な再計算を回避できる。
• 鋭い事前分布でさえ、古典的ベイズ推論ではモデル不一致を是正できないが、pop-ebは優れた予測性能を維持する。
• データから推定された経験的ベイズ事前分布はモデル不一致を緩和しないが、pop-ebは母集団分布を明示的にモデル化することでそれを是正する。