[論文レビュー] MCMC methods for Gaussian process models using fast approximations for the likelihood

Chunyi Wang, Radford M. Neal|arXiv (Cornell University)|May 10, 2013

Gaussian Processes and Bayesian Inference参考文献 9被引用数 7

ひとこと要約

本稿では、高速な尤度近似（例：データの部分集合（SOD）やニーメンズ・チョルバックイ分解）を活用して、ガウス過程モデルにおけるMCMCの計算を高速化する2つの効率的なMCMC手法——離散化チェーンへの写像と温度付き遷移——を提案する。近似を用いても、一時的な状態空間写像とキャッシュの活用により、真の後方分布からの正確なサンプリングを保証する。実験では、合成データセット上で標準MCMCと比較して最大3倍の高速化を達成した。

ABSTRACT

Gaussian Process (GP) models are a powerful and flexible tool for non-parametric regression and classification. Computation for GP models is intensive, since computing the posterior density, $π$, for covariance function parameters requires computation of the covariance matrix, C, a $pn^2$ operation, where p is the number of covariates and n is the number of training cases, and then inversion of C, an $n^3$ operation. We introduce MCMC methods based on the "temporary mapping and caching" framework, using a fast approximation, $π^*$, as the distribution needed to construct the temporary space. We propose two implementations under this scheme: "mapping to a discretizing chain", and "mapping with tempered transitions", both of which are exactly correct MCMC methods for sampling $π$, even though their transitions are constructed using an approximation. These methods are equivalent when their tuning parameters are set at the simplest values, but differ in general. We compare how well these methods work when using several approximations, finding on synthetic datasets that a $π^*$ based on the "Subset of Data" (SOD) method is almost always more efficient than standard MCMC using only $π$. On some datasets, a more sophisticated $π^*$ based on the "Nyström-Cholesky" method works better than SOD.

研究の動機と目的

• ガウス過程モデルにおけるMCMCの計算コストの高さに起因する、データサイズに比例して立方乗に増加する共分散行列の逆行列計算の問題に対処すること。
• 後方分布の高速近似を用いて計算時間を短縮しつつ、ターゲット分布の正確性を保つMCMCスキームの開発。
• さまざまな尤度近似を用いて、新たなMCMCフレームワーク（離散化チェーンへの写像と温度付き遷移）の性能を評価すること。
• SOD や ニーメンズ・チョルバックイ分解といった高速近似が、標準MCMCに比べて顕著な効率的向上をもたらす条件を特定すること。

提案手法

• ネール（2006）の一時的写像とキャッシュフレームワークを用い、元の空間 $\mathcal{X}$ と一時的空間 $\mathcal{Y}$ 間の3つの写像 $\hat{T}$, $\bar{T}$, $\check{T}$ を介して遷移を定義する。
• 一時的空間 $\mathcal{Y}$ 上の不変分布 $\rho(y)$ として、近似後方分布 $\pi^*$（例：SOD または ニーメンズ・チョルバックイ分解）を用い、計算を高速化する。
• 遷移 $T(x'|x)$ を $\hat{T}(y|x)$, $\bar{T}(y'|y)$, $\check{T}(x'|y')$ の合成として構築し、真の後方分布 $\pi$ に対する詳細釣合と正確性を保証する。
• 温度付き遷移法を代替フレームワークとして採用し、複数の段階 $\pi_i$ を通じた遷移を定義し、$\pi^*$ を中間分布として用いる。
• 各段階におけるMCMC更新回数と $\pi^*$ の部分集合サイズ $m$ を調整して、受容率と混合効率のバランスを取る。
• 事前に計算した $\pi(x)$ 値をキャッシュに格納することで、繰り返しの評価を回避し、繰り返しサンプリングにおける効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程尤度の高速近似を用いてMCMCサンプリングを高速化しても、後方分布の正確性が損なわれないか？
• RQ2 異なる尤度近似を用いた場合に、離散化チェーンへの写像と温度付き遷移の性能特性はどのように異なるか？
• RQ3 データサイズや長さスケールなどの条件下で、SOD近似がニーメンズ・チョルバックイ近似を上回るMCMC効率を示す条件は何か？
• RQ4 温度付き遷移における複数段階の利用は、単一段階の写像と比較して混合性を向上させ、自己相関を低減できるか？

主な発見

• SOD近似は、合成データセット（$n=300$, $p=5$）において、1秒あたりの有効サンプルサイズの観点で標準MCMCを常に上回り、最大3倍の高速化を達成した。
• 長さスケールが大きいデータセットでは、$m=10\%$ のニーメンズ・チョルバックイ近似がSODを著しく上回り、自己相関を低減し、混合性を向上させた。
• 長さスケールが小さい場合には、$m$ が $n$ の95\%に近い場合を除き、ニーメンズ・チョルバックイ近似は遅くなりすぎてSODに劣る。
• SODに基づく$\pi^*$を用いた2段階の温度付き遷移は、すべてのテストデータセットで離散化チェーン法を上回り、特に高次元または複雑な後方分布において顕著な優位性を示した。
• 離散化チェーンへの写像法は、調整パrameter $r$ と $s$ に敏感であり、大きなジャンプを試みる際は受容率が低いため、性能が著しく劣る。
• 後方分布密度評価のキャッシュ化により、重複計算が削減され、高速な $\pi^*$ とキャッシュの組み合わせが、MCMCサンプリング全体の著しい高速化をもたらした。