[論文レビュー] Gaussian Process Regression Networks

Andrew Gordon Wilson, David A. Knowles+1 more|arXiv (Cornell University)|Oct 19, 2011

Gaussian Processes and Bayesian Inference参考文献 44被引用数 122

ひとこと要約

Gaussian Process Regression Networks (GPRN) は、入力に依存する信号およびノイズ相関、長さスケール、振幅、および重い尾を持つ予測分布をモデル化するため、ベイジアンニューラルネットワークとガウス過程を組み合わせた新しい回帰フレームワークを導入する。この手法は、マルチアウトプットおよびマルチ変数ボラティリティモデリングにおいて、ベンチマークデータセット（1000次元の遺伝子発現データセットを含む）で8つのマルチタスクGPモデルおよび3つのボラティリティモデルを上回る優れた性能を発揮する。

ABSTRACT

We introduce a new regression framework, Gaussian process regression networks (GPRN), which combines the structural properties of Bayesian neural networks with the non-parametric flexibility of Gaussian processes. This model accommodates input dependent signal and noise correlations between multiple response variables, input dependent length-scales and amplitudes, and heavy-tailed predictive distributions. We derive both efficient Markov chain Monte Carlo and variational Bayes inference procedures for this model. We apply GPRN as a multiple output regression and multivariate volatility model, demonstrating substantially improved performance over eight popular multiple output (multi-task) Gaussian process models and three multivariate volatility models on benchmark datasets, including a 1000 dimensional gene expression dataset.

研究の動機と目的

• 複数の出力にわたる入力に依存する信号およびノイズ相関を捉える柔軟な回帰フレームワークの開発。
• ベイジアンニューラルネットワークの構造的適応性とガウス過程の非パrametric表現力の統合。
• 数値的不安定性を伴わずに、入力に依存する長さスケール、振幅、および重い尾を持つ予測分布のモデリングを可能にすること。
• マルコフ連鎖モンテカルロ法（MCMC）および変分ベイズ（VB）の両手法による効率的な推論の提供。
• 既存のモデルと比較して、現実世界のマルチアウトプットおよびマルチ変数ボラティリティデータセットにおける優れた予測性能の実証。

提案手法

• GPRN は、重み行列 W(x) を介して潜在ガウス過程の線形変換として出力をモデル化する。ここで W(x) は自身が独立したガウス過程である。
• W(x) と追加ノイズ項 σ_f および σ_y を用いて、入力に依存する信号およびノイズ相関を組み込み、柔軟で非定常な共分散構造を可能にする。
• 出力の連合分布は階層的ガウス過程モデルとして導出され、予測分布は潜在関数および重みの周辺化により計算される。
• 効率的な MCMC 推論は、条件付き共役性を用いたギブスサンプリングにより実行される。一方、変分ベイズでは、ハイパーパramータの解析的更新を伴う平均場近似が用いられる。
• ノイズ分布をスチューデントt分布やラプラス分布に許容することで、外れ値に対してより強いロバストネスを実現する。
• 予測分布は、変分後確率分布の期待値を用いて解析的に計算され、高速かつ安定した推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークとガウス過程を統合したハイブリッドモデルは、マルチアウトプット回帰における入力に依存する信号およびノイズ相関を効果的にモデル化できるか？
• RQ2 複雑な相関構造を有する現実世界のデータセットにおいて、GPRN は既存のマルチタスクガウス過程モデルと比較してどのように性能を発揮するか？
• RQ3 GPRN は入力に依存する長さスケールおよび振幅を捉えつつ、計算効率および数値的安定性を維持できるか？
• RQ4 重い尾を持つノイズ分布の導入により、外れ値に対してロバストな予測モデリングが向上するか？
• RQ5 高次元回帰タスクにおいて、MCMC と変分ベイズ推論手順は、精度とスケーラビリティの観点でどのように比較されるか？

主な発見

• GPRN は、遺伝子発現および地球統計データセットにおいて、8つの一般的なマルチタスクガウス過程モデルを顕著に上回った。特に1000次元の遺伝子発現データセットにおいても同様の優位性を示した。
• 金融ベンチマークデータセットでは、3つのマルチ変数ボラティリティモデルを著しく上回り、高い予測精度を達成した。
• モデルは入力に依存する信号およびノイズ相関を効果的に捉え、応答変数が相関する状況での予測精度の向上を実現した。
• MCMC および変分ベイズ推論の両手法とも有効であった。特に、マルチ変数ボラティリティ実験でノイズを累乗した際、MCMC はより優れた数値的安定性を示した。
• 重い尾を持つノイズ分布（例：スチューデントt分布）の使用により、外れ値に対してより強いロバストネスが向上した。特に、重い尾を持つ誤差構造を示す金融データにおいて顕著であった。
• 重み行列 W(x) を累乗することで、MCMC における数値的安定性が向上したが、実験的性能に顕著な向上は見られず、モデルが本質的にマルチモーダル性に対してロバストであることが示唆された。