[論文レビュー] Sparse Additive Gaussian Process Regression

Hengrui Luo, Giovanni Nattino+1 more|arXiv (Cornell University)|Aug 23, 2019

Gaussian Processes and Bayesian Inference参考文献 49被引用数 10

ひとこと要約

この論文は、再帰的分割、スパースガウス過程、ベイジアン加法モデルを組み合わせることで、大規模データセットにおける計算効率が高く、不確実性を定量化的に評価できる完全ベイジアンスパース加法ガウス過程（SAGP）回帰モデルを提案する。入力空間を分割し、各分割内に局所的なスパースGPを適合させることで、単一のスパースGPモデルよりも計算効率が向上し、予測性能が向上する。また、複雑な擬似入力選択やブロック間相関を回避する。

ABSTRACT

In this paper we introduce a novel model for Gaussian process (GP) regression in the fully Bayesian setting. Motivated by the ideas of sparsification, localization and Bayesian additive modeling, our model is built around a recursive partitioning (RP) scheme. Within each RP partition, a sparse GP (SGP) regression model is fitted. A Bayesian additive framework then combines multiple layers of partitioned SGPs, capturing both global trends and local refinements with efficient computations. The model addresses both the problem of efficiency in fitting a full Gaussian process regression model and the problem of prediction performance associated with a single SGP. Our approach mitigates the issue of pseudo-input selection and avoids the need for complex inter-block correlations in existing methods. The crucial trade-off becomes choosing between many simpler local model components or fewer complex global model components, which the practitioner can sensibly tune. Implementation is via a Metropolis-Hasting Markov chain Monte-Carlo algorithm with Bayesian back-fitting. We compare our model against popular alternatives on simulated and real datasets, and find the performance is competitive, while the fully Bayesian procedure enables the quantification of model uncertainties.

研究の動機と目的

• 大規模データセットにおける完全ガウス過程回帰の高い計算コストを軽減すること。
• 単一のスパースGPモデルを上回る予測性能を向上させることで、グローバルなトレンドとローカルな特徴の両方を捉えること。
• パrameterと予測の両方における原理的で整合性のある不確実性の定量的評価を可能にする完全ベイジアンフレームワークの構築。
• 確率的木ベースの分割や複雑なブロック間相関を避けることで、モデル構造の簡素化。
• 多くの単純な局所モデルと少ない複雑なグローバルモデルの間の柔軟で調整可能なトレードオフの提供。

提案手法

• モデルは再帰的分割（RP）スキームを用いて入力空間を互いに素な領域に分割し、局所的モデリングを可能にする。
• 各分割内では、固定された誘導点を用いてスパースガウス過程（SGP）を適合させ、計算コストを低減する。
• ベイジアン加法モデルが複数の分割されたSGPの層を組み合わせ、予測の階層的精緻化を可能にする。
• メトロポリス・ハスティングスMCMCアルゴリズムとベイジアンバックフィッティングを用いて、モデルパラメータとハイパーパrameterを同時に推定する。
• 固定された分割スキームを用いることで、ブロック間相関を回避し、擬似入力選択を簡素化する。
• 後方確率推論は、SGPフレームワークとウッドベリー恒等式に基づく条件付き分布を用いて、計算を効率的に行う。

実験結果

リサーチクエスチョン

• RQ1 スパースGPと再帰的分割を組み合わせた完全ベイジアン加法モデルは、単一のスパースGPモデルよりも優れた予測性能を達成できるか？
• RQ2 SAGPモデルは大規模データセットにおいて、計算効率と予測精度のバランスをどのようにとるか？
• RQ3 固定された再帰的分割スキームは、確率的木ベースの分割手法と比較して、どの程度の複雑さを低減するか？
• RQ4 SAGPモデルは非 stationarity（非定常）データにおいて、グローバルトレンドとローカル特徴の両方を効果的に捉えることができるか？
• RQ5 完全ベイジアンフレームワークは、予測とモデルパrameterの両方における不確実性をどの程度正確に定量的評価できるか？

主な発見

• SAGPモデルは、シミュレーテッドおよび実データセットの両方において、他の代表的な手法と比較して競争力のある予測性能を達成した。
• 完全ベイジアンフレームワークにより、パrameterと予測の両方における完全な不確実性の定量的評価が可能になった。
• 局所的分割内でのスパースGPの使用により、完全GP回帰のO(n³)コストが顕著に低減され、計算効率が向上した。
• 固定された再帰的分割スキームにより、確率的木学習の計算オーバーヘッドが回避され、複雑なブロック間相関構造の必要性も排除された。
• この手法により、データの特性に応じて、多くの単純な局所モデルと少ない複雑なグローバルモデルの間のトレードオフを実務家が調整可能になった。
• 1000個のシミュレーテッドデータセットにおける診断チェック（GewekeおよびHeidelberger-Welch）により、MCMC収束が確認され、信頼性のある推論が可能であることが裏付けられた。