[論文レビュー] Sampling for Inference in Probabilistic Models with Fast Bayesian Quadrature

Tom Gunter, Michael A. Osborne+3 more|arXiv (Cornell University)|Nov 3, 2014

Gaussian Processes and Bayesian Inference参考文献 18被引用数 40

ひとこと要約

本稿では、尤度関数の平方根変換を用いて非負性を強制し、変換された被積分関数の事後分散を標的にする、新しいアクティブサンプリング方式を組み込んだ高速なベイズ数値積分法であるWarped Sequential Active Bayesian Integration（WSABI）を提案する。WSABIは、合成的および実世界の問題において、モンテカルロ法やアニールド重要度サンプリング（AIS）よりも壁時計時間の観点からより速い収束を達成し、尤度評価が安価な状況でもベンチマークを上回る性能を発揮する。

ABSTRACT

We propose a novel sampling framework for inference in probabilistic models: an active learning approach that converges more quickly (in wall-clock time) than Markov chain Monte Carlo (MCMC) benchmarks. The central challenge in probabilistic inference is numerical integration, to average over ensembles of models or unknown (hyper-)parameters (for example to compute the marginal likelihood or a partition function). MCMC has provided approaches to numerical integration that deliver state-of-the-art inference, but can suffer from sample inefficiency and poor convergence diagnostics. Bayesian quadrature techniques offer a model-based solution to such problems, but their uptake has been hindered by prohibitive computation costs. We introduce a warped model for probabilistic integrands (likelihoods) that are known to be non-negative, permitting a cheap active learning scheme to optimally select sample locations. Our algorithm is demonstrated to offer faster convergence (in seconds) relative to simple Monte Carlo and annealed importance sampling on both synthetic and real-world examples.

研究の動機と目的

• 確率的モデルにおける数値積分の分野で、マルコフ連鎖モンテカルロ（MCMC）法の非効率さと、収束診断の難しさを解消すること。
• 尤度評価が安価な状況でも、従来のベイズ数値積分（BQ）の高い計算コストがその適用を制限する問題を克服すること。
• 近似誤差なしに尤度の非負性を保つモデルベースの推論フレームワークを構築すること。
• 積分推定の不確実性を最小化するために、最適な評価点を選択する高速でアクティブなサンプリング戦略を設計すること。
• 尤度評価コストが低い状況下でも、標準的なモンテカルロ法やアニールド重要度サンプリングよりも、壁時計時間の観点からより速い収束を達成すること。

提案手法

• 被積分関数に平方根ガウス過程（GP）事前分布を導入することで、非負性を自然に強制し、従来の対数変換を用いたBQ手法で生じる近似を回避する。
• 尤度関数の平方根にGP事前分布を置くことで、尤度関数の歪みを導入し、動的範囲が広い状況でも良好に扱えるとともに、非負性を保証する。
• 変換された被積分関数の事後分散の期待値を最大にする点を新規サンプル点として選択する高速なアクティブサンプリング方式を提案し、探索と活用のバランスを取る。
• 逐次的でアクティブな学習戦略を採用し、不確実性が高く、確率質量が大きい領域に注目することで、積分推定のエントロピーを低減する。
• 任意の事前密度に対して統合可能な重要度再重み付けのテクニックを適用し、標準的な正規事前分布に限らない拡張を可能にする。
• GPと積分の事後更新を解析的に実行することで、効率的な推論と不確実性の定量化を実現する。

実験結果

リサーチクエスチョン

• RQ1 尤度評価が計算的に安価な状況下でも、モデルベースのベイズ数値積分法が、標準的なモンテカルロ法よりも壁時計時間の観点からより速い収束を達成できるか。
• RQ2 平方根変換による尤度モデルにおける非負性の強制が、対数変換や直接GPモデリングと比較して、数値的安定性と精度を向上させるか。
• RQ3 歪みを加えた被積分関数の事後分散に基づく高速なアクティブサンプリング戦略が、ランダムまたは固定サンプリングに比べて、ベイズ数値積分で優れた性能を発揮するか。
• RQ4 提案手法の性能は、パrameter空間の次元数の増加に伴ってどのようにスケーリングするか。
• RQ5 提案手法はハイパーパramータの誤設定に対してロバストであり、現実的で合成的でない尤度関数表面に対しても有効か。

主な発見

• WSABIは、合成的および実世界のベンチマークにおいて、単純なモンテカルロ法とアニールド重要度サンプリング（AIS）よりも、壁時計時間の観点からより速い収束を達成した。
• 尤度評価が安価な状況下でも、誤差低減量／秒という観点から、標準的なモンテカルロ法やAISを上回り、優れたサンプル効率を示した。
• 合成的混合モデルでは、WSABI-m（中程度の探索）がWSABI-l（低めの探索）をわずかに上回ったが、WSABI-lは全体的に速く、高次元問題ではより効果的であった。
• 高次元問題では、WSABI-lがWSABI-mを上回った。これは、高確率領域を積極的に活用することが、広範な探索よりも効果的であることを示している。
• 平方根変換を用いた歪みGPモデルは、近似誤差なしに非負性を厳密に保証でき、対数変換手法に比べて安定性と精度が向上した。
• 事後分散の最大化に基づくアクティブサンプリング戦略は、探索と活用のバランスを効果的に取ることができ、積分推定の不確実性を速やかに低減した。