[论文解读] Additive Gaussian Process Regression

Shaan Qamar, Surya T. Tokdar|arXiv (Cornell University)|Nov 25, 2014

Gaussian Processes and Bayesian Inference参考文献 33被引用 8

一句话总结

本文提出了一种贝叶斯加法高斯过程（AGP）回归模型，通过将回归函数分解为低维非参数分量函数，实现了高效的高维非参数回归。采用一种新颖的马尔可夫链蒙特卡洛采样器，结合多尝试元蒙特卡洛移动和随机搜索，该方法在模拟数据和真实世界数据中均显著提升了预测精度，同时在支持恢复和交互作用恢复方面达到当前最优水平。

ABSTRACT

Additive-interactive regression has recently been shown to offer attractive minimax error rates over traditional nonparametric multivariate regression in a wide variety of settings, including cases where the predictor count is much larger than the sample size and many of the predictors have important effects on the response, potentially through complex interactions. We present a Bayesian implementation of additive-interactive regression using an additive Gaussian process (AGP) prior and develop an efficient Markov chain sampler that extends stochastic search variable selection in this setting. Careful prior and hyper-parameter specification are developed in light of performance and computational considerations, and key innovations address difficulties in exploring a joint posterior distribution over multiple subsets of high dimensional predictor inclusion vectors. The method offers state-of-the-art support and interaction recovery while improving dramatically over competitors in terms of prediction accuracy on a diverse set of simulated and real data. Results from real data studies provide strong evidence that the additive-interactive framework is an attractive modeling platform for high-dimensional nonparametric regression.

研究动机与目标

• 开发一个完全贝叶斯框架，用于高维设定下（$ p \gg n $）的加法-交互非参数回归。
• 通过将回归函数建模为低维分量函数之和，克服传统非参数回归中的维度灾难问题。
• 通过结构化先验和高效的后验探索，实现对预测变量重要性和交互结构的精确恢复。
• 在高维、稀疏和光滑回归设定下，提升计算可扩展性和统计性能，优于现有方法。

提出的方法

• 采用加法高斯过程（AGP）先验，其中每个分量函数仅依赖于少量预测变量，从而实现对复杂交互作用的灵活非参数建模。
• 使用一种新颖的马尔可夫链蒙特卡洛（MCMC）采样器，包含三种移动方式：交叉捐赠（CD）、成对捐赠（PD）和成对交换（PS），以探索高维预测变量包含向量。
• 引入多尝试元蒙特卡洛提议，以增强在分量结构和预测变量分配联合后验分布中的混合效果和收敛性。
• 通过分量级移动实现随机搜索变量选择，动态地在加法分量之间重新分配预测变量，以高效探索模型空间。
• 对先验和超参数进行仔细设定，以在模型灵活性、计算成本和估计精度之间取得平衡。
• 采用具有对称转移核的ICM提议混合，以保持细致平衡并确保MCMC链的平稳性。

实验结果

研究问题

• RQ1 贝叶斯加法高斯过程模型是否能在具有复杂交互作用的高维非参数回归中，实现优于竞争对手的预测精度和变量选择性能？
• RQ2 所提出的MCMC采样器在探索高维预测变量包含向量和分量结构空间方面是否高效？
• RQ3 加法-交互框架在支持恢复和交互作用检测方面，相较于传统非参数和参数方法，优势有多大？
• RQ4 在极端稀疏性和高$ p/n $比率条件下，该方法是否如极小化最大理论所预测的那样保持良好性能？

主要发现

• AGP模型在支持恢复和交互作用恢复方面达到当前最优水平，显著优于竞争对手，能更准确识别相关预测变量及其交互作用。
• 预测精度显著优于现有方法，包括BART、随机森林和Lasso，尤其在高维和光滑回归设定下表现突出。
• 在模拟数据中，该方法成功恢复了真实的交互模式，包含概率与真实预测变量重要性高度一致。
• 在波士顿房价、犯罪、核黄素和饼干数据集的真实数据研究中，展示了强大的经验性能和跨多样化应用场景的鲁棒性。
• MCMC采样器实现了良好的混合和收敛性，$ \sigma^2 $ 的轨迹图显示后验探索稳定，推断可靠。
• 理论和实证结果共同表明，加法-交互框架打破了传统非参数模型对极端稀疏性的假设，使高维设定下的有效学习成为可能。