[论文解读] Additive Gaussian Processes

David Duvenaud, Hannes Nickisch+1 more|arXiv (Cornell University)|Dec 19, 2011

Gaussian Processes and Bayesian Inference参考文献 15被引用 203

一句话总结

本文提出了一种新型高斯过程模型——加法高斯过程（Additive Gaussian Processes, AGP），该模型通过允许所有阶次的灵活、结构化的交互作用，推广了广义可加模型（GAMs）和标准平方指数高斯过程（SE-GPs）模型。该方法采用一种参数化方式，仅使用 O(D) 个超参数即可高效计算呈指数增长的交互项数量，在实现最先进预测性能的同时，通过学习到的交互阶次方差提升了模型可解释性。

ABSTRACT

We introduce a Gaussian process model of functions which are additive. An additive function is one which decomposes into a sum of low-dimensional functions, each depending on only a subset of the input variables. Additive GPs generalize both Generalized Additive Models, and the standard GP models which use squared-exponential kernels. Hyperparameter learning in this model can be seen as Bayesian Hierarchical Kernel Learning (HKL). We introduce an expressive but tractable parameterization of the kernel function, which allows efficient evaluation of all input interaction terms, whose number is exponential in the input dimension. The additional structure discoverable by this model results in increased interpretability, as well as state-of-the-art predictive power in regression tasks.

研究动机与目标

• 开发一种高斯过程模型，以结构化、可解释的方式捕捉低阶和高阶输入交互作用。
• 将广义可加模型（GAMs，一阶交互）和标准 SE-GP 模型（全阶交互）统一到一个统一的框架中。
• 即使交互项数量呈指数增长，仍能实现核超参数和交互阶次方差的高效学习。
• 通过识别真实数据集中哪些阶次的交互作用具有重要性，提升模型可解释性。
• 在保持计算可行性的同时，预测准确率超越现有方法（如 HKL 和标准 SE-GP）

提出的方法

• 模型使用一个核函数，其由所有可能的交互阶次（从一阶到 D 阶）的加法项组成。
• 每一阶交互作用由一个方差超参数 σ²ₙ 和一维基核函数 kᵢ(xᵢ, x′ᵢ) 的乘积进行参数化。
• 通过递归分解方法高效计算核函数，避免显式求和所有 D choose n 项。
• 通过边缘似然最大化进行超参数学习，支持贝叶斯分层核学习（HKL）。
• 通过 EP 或拉普拉斯近似进行高斯过程推理，支持回归与分类任务。
• 在核函数之外拟合一个常数均值函数，且该方法已实现为高效代码以支持实际应用。

实验结果

研究问题

• RQ1 高斯过程模型能否在保持计算可行性的同时，有效捕捉所有阶次的结构化加法交互？
• RQ2 学习交互阶次方差的能力是否能提升相比标准高斯过程模型的预测性能？
• RQ3 与分层核学习（HKL）相比，所提模型在预测准确率和超参数学习方面表现如何？
• RQ4 加法结构在真实世界回归任务中在多大程度上增强了模型的可解释性？
• RQ5 通过学习低阶交互模式，模型能否在未见输入组合上实现良好泛化？

主要发现

• 加法高斯过程在回归任务中实现了最先进性能，在具有低阶交互结构的数据集上优于 GP-GAM 和 SE-GP 模型。
• 在 pumadyn-8nh 和 housing 数据集上，加法高斯过程分别实现了最低的均方误差（0.316 和 0.102），显著优于 GP-GAM 和 HKL。
• 在负对数似然（NLL）比较中，加法高斯过程在所有数据集上表现匹配或超过 SE-GP 和 GP-GAM，且在 bach 和 housing 数据集上达到最低 NLL。
• 该模型从未显著劣于其他任何方法，且在某些情况下显著更优，表明其具有鲁棒性和强泛化能力。
• 在分类任务中，加法高斯过程在 breast 和 sonar 数据集上实现了最低的错误率，且在除一个数据集外的所有数据集上均达到最低 NLL，表现出优异的判别性能。
• 该模型在性能上与 HKL 竞争，但在预测准确率上更优，且避免了 HKL 对交叉验证进行超参数调优的依赖。