[論文レビュー] Additive Gaussian Process Regression

Shaan Qamar, Surya T. Tokdar|arXiv (Cornell University)|Nov 25, 2014

Gaussian Processes and Bayesian Inference参考文献 33被引用数 8

ひとこと要約

本稿では、回帰関数を低次元の非パラメトリック関数の加法的成分に分解することにより、効率的な高次元非パラメトリック回帰を可能にするベイジアン加法的ガウス過程（AGP）回帰モデルを提案する。複数の試行メトロポリス移動と確率的探索を組み合わせた新規なマルコフ連鎖モンテカルロサンプラーを用いることで、シミュレートデータおよび実世界のデータにおいて、競合手法と比較して予測精度を著しく向上させるとともに、スパース性と相互作用の回復性能が最先端水準に達する。

ABSTRACT

Additive-interactive regression has recently been shown to offer attractive minimax error rates over traditional nonparametric multivariate regression in a wide variety of settings, including cases where the predictor count is much larger than the sample size and many of the predictors have important effects on the response, potentially through complex interactions. We present a Bayesian implementation of additive-interactive regression using an additive Gaussian process (AGP) prior and develop an efficient Markov chain sampler that extends stochastic search variable selection in this setting. Careful prior and hyper-parameter specification are developed in light of performance and computational considerations, and key innovations address difficulties in exploring a joint posterior distribution over multiple subsets of high dimensional predictor inclusion vectors. The method offers state-of-the-art support and interaction recovery while improving dramatically over competitors in terms of prediction accuracy on a diverse set of simulated and real data. Results from real data studies provide strong evidence that the additive-interactive framework is an attractive modeling platform for high-dimensional nonparametric regression.

研究の動機と目的

• $ p \gg n $ の高次元設定において、加法的・相互作用的非パラメトリック回帰の完全なベイジアンフレームワークを構築すること。
• 従来の非パラメトリック回帰における次元の呪いを克服するため、回帰関数を低次元の成分関数の和としてモデル化すること。
• 構造的事前分布と効率的な事後分布探索を用いて、予測子の重要度と相互作用構造の正確な回復を可能にすること。
• 高次元、スパース、滑らかさのある回帰設定において、既存手法と比較して計算スケーラビリティと統計的性能を向上させること。

提案手法

• 各成分関数が少数の予測子に依存する加法的ガウス過程（AGP）事前分布を採用し、複雑な相互作用を柔軟に非パラメトリックにモデル化可能とする。
• 予測子の含むベクトルと成分構造の高次元空間を探索するため、クロスドナー（CD）、ペアドナー（PD）、ペアスワップ（PS）の3種類の移動を含む新規なマルコフ連鎖モンテカルロ（MCMC）サンプラーを用いる。
• 複数の試行メトロポリス提案を導入することで、成分構造と予測子割り当ての共同事後分布における混合性と収束性を向上させる。
• 成分ごとの移動を用いた確率的探索による変数選択を実装し、モデル空間を効率的に探索する。
• モデルの柔軟性、計算コスト、推定精度のバランスをとるために、注意深く事前分布とハイパーパrameterの指定を実施する。
• 対称的遷移核を有するICM提案の混合を用いることで、詳細釣合の維持とMCMC連鎖の定常性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン加法的ガウス過程モデルは、複雑な相互作用を伴う高次元非パラメトリック回帰において、優れた予測精度と変数選択性能を達成できるか？
• RQ2 提案されたMCMCサンプラーは、予測子含むベクトルと成分構造の高次元空間をどの程度効果的に探索できるか？
• RQ3 加法的・相互作用的フレームワークは、従来の非パラメトリックおよびパラメトリック手法と比較して、スパース性回復と相互作用検出の観点でどの程度優れているか？
• RQ4 最小最大理論の予測どおり、極度のスパarsityと高い $ p/n $ 比の下でも、本手法は良好な性能を維持するか？

主な発見

• AGPモデルは、関連する予測子とその相互作用を同定する観点で、競合手法を著しく上回るスパース性と相互作用の回復性能を達成する。
• 予測精度は、BART、ランダムフォレスト、およびLassoを含む既存手法と比較して顕著に向上し、特に高次元および滑らかさのある回帰設定で顕著である。
• シミュレーションデータにおいて、真の相互作用パターンが効果的に回復され、含む確率が真の予測子重要度と密接に一致している。
• ボストン住宅、犯罪、リボフラビン、クッキーの実データスタディでは、多様な応用分野において強力な実証的性能と頑健性を示す。
• MCMCサンプラーは良好な混合性と収束性を示し、$ \sigma^2 $ のトレースプロットは安定した事後分布探索と信頼性の高い推論を示している。
• 理論的および実証的結果により、加法的・相互作用的フレームワークが従来の非パラメトリックモデルの極度のスパarsity仮定を打ち破り、高次元設定における有効な学習を可能にすることが確認された。