[論文レビュー] Non-Stationary Gaussian Process Regression with Hamiltonian Monte Carlo

Markus Heinonen, Henrik Mannerström+3 more|arXiv (Cornell University)|Aug 18, 2015

Gaussian Processes and Bayesian Inference参考文献 15被引用数 42

ひとこと要約

本稿では、ノイズ分散、信号分散、長さスケールがすべて入力に依存する完全非定常ガウス過程回帰モデルを提案する。ノイズ分散、信号分散、長さスケールは、解析的勾配を用いたハミルトニアン・モンテカルロ（HMC）により学習される。この手法により、変分近似を用いない正確なベイズ推論が可能となり、定常モデルや事前分布に基づく非定常モデルに比べて、特に時系列的遺伝子発現データにおける入力依存動的特性の捉え込みが優れている。

ABSTRACT

We present a novel approach for fully non-stationary Gaussian process regression (GPR), where all three key parameters -- noise variance, signal variance and lengthscale -- can be simultaneously input-dependent. We develop gradient-based inference methods to learn the unknown function and the non-stationary model parameters, without requiring any model approximations. We propose to infer full parameter posterior with Hamiltonian Monte Carlo (HMC), which conveniently extends the analytical gradient-based GPR learning by guiding the sampling with model gradients. We also learn the MAP solution from the posterior by gradient ascent. In experiments on several synthetic datasets and in modelling of temporal gene expression, the nonstationary GPR is shown to be necessary for modeling realistic input-dependent dynamics, while it performs comparably to conventional stationary or previous non-stationary GPR models otherwise.

研究の動機と目的

• ノイズ分散、信号分散、長さスケールがすべて入力に依存する完全非定常ガウス過程回帰フレームワークの開発を目的とする。
• 変分近似や期待値伝播近似を用いずに、潜在関数とモデルパラメータの結合事後分布に対する正確なベイズ推論を可能にする。
• ハミルトニアン・モンテカルロ（HMC）における解析的勾配を活用し、効率的な事後分布サンプリングとMAP推定のための勾配上昇法を実現する。
• 非定常モデリングの必要性を、特に生物学的時系列データにおける現実的で入力依存の動的特性を捉えるために示す。

提案手法

• 長さスケール、信号分散、ノイズ分散の対数を、それぞれ独立したガウス過程としてモデル化し、二乗指数カーネルを用いることで正の値を保証する。
• 入力固有の信号分散 σ(x)、長さスケール ℓ(x)、ノイズ分散 ω(x)² に依存する非定常な二乗指数カーネルを用いる。
• 非制約化された潜在関数（log-ℓ, log-σ, log-ω）に関する対数尤度の解析的勾配を導出する。この勾配はHMCおよび勾配上昇法に使用される。
• HMC-NUTSを用いて事後分布をサンプリングし、解析的勾配によってガイドすることで、高次元事後分布の効率的探索を実現する。
• 事前共分散行列のコレスキー分解を用いた事後分布のホワイトニングを適用し、サンプリング効率を向上させる。
• 潜在関数とハイパーパramータの結合事後分布を周辺化することで予測分布を計算する。

実験結果

リサーチクエスチョン

• RQ1 入力依存のノイズ、信号分散、長さスケールを有する完全非定常GPモデルは、定常モデルや部分的に非定常なモデルに比べ、現実的で入力依存の動的特性をよりよく捉えることができるか？
• RQ2 解析的勾配を用いたHMCは、変分近似を用いずに完全非定常GPフレームワークにおいて、効率的かつ正確な事後分布推論を可能にするか？
• RQ3 真に非定常な動的特性が既知の合成データに対して、提案手法はベースラインの定常および非定常GPモデルに比べてどのように性能を発揮するか？
• RQ4 本モデルは、時系列的遺伝子発現のような生物学的時系列データにおける滑らかさやノイズ特性の変化を効果的に捉えることができるか？

主な発見

• 本稿で提案する非定常GPモデルは、信号の滑らかさやノイズ分散が時間とともに変化するようなシステムにおいて、現実的で入力依存の動的特性を正確にモデリングするために不可欠である。
• 非定常な挙動が既知の合成データセットにおいて、モデルは真の入力依存の信号分散、長さスケール、ノイズ分散を効果的に回復した。
• 時系列的遺伝子発現データにおいて、非定常モデルは初期に急激な変化を捉え、その後滑らかになる動的特性を表現できるが、定常モデルではそのような特徴を再現できない。
• 非定常性が顕著でないデータセットにおいて、HMCベースの推論は、従来の定常GPおよび過去の非定常GPモデルと同等の予測性能を達成した。
• HMCにおける解析的勾配の使用により、効率的なサンプリングと正確な事後分布探索が可能となり、変分近似による不正確さを回避した。
• 事後分布からの勾配上昇法により得られたMAP解は、完全な事後分布サンプリングと同等の予測精度を示した。