[论文解读] ADDITIVE COVARIANCE KERNELS FOR HIGH-DIMENSIONAL GAUSSIAN PROCESS MODELING

Nicolas Durrande, David Ginsbourger+1 more|arXiv (Cornell University)|Nov 27, 2011

Advanced Multi-Objective Optimization Algorithms参考文献 15被引用 56

一句话总结

本文提出了一种用于高维高斯过程建模的加法协方差核，以缓解维度灾难问题。通过将协方差结构分解为加法分量，该方法实现了可扩展、可解释的克里金模型，在保持预测精度的同时降低了高维输入空间中的计算成本。

ABSTRACT

Gaussian process models -also called Kriging models- are often used as mathematical approximations of expensive experiments. However, the number of observation required for building an emulator becomes unrealistic when using classical covariance kernels when the dimension of input increases. In oder to get round the curse of dimensionality, a popular approach is to consider simplified models such as additive models. The ambition of the present work is to give an insight into covariance kernels that are well suited for building additive Kriging models and to describe some properties of the resulting models.

研究动机与目标

• 解决标准高斯过程模型在高维输入空间中计算不可行的问题。
• 开发专用于加法克里金模型的协方差核，以提升可扩展性和可解释性。
• 为高斯过程中加法协方差结构的性质提供理论和实践上的见解。
• 通过结构化的协方差分解，实现对高维输入的昂贵计算机实验的高效模拟。

提出的方法

• 提出一类将总协方差分解为各输入维度独立贡献的加法协方差核。
• 将核函数构造为作用于单个输入变量的各单变量协方差函数之和。
• 确保所得核函数保持正定性，适用于高斯过程回归。
• 利用加法结构相比满秩核函数，减少超参数数量和计算复杂度。
• 通过利用加法分解所诱导的条件独立性结构，实现高效的推断与预测。
• 将该框架应用于输入维度较高但底层函数可能近似加法的计算机实验与模拟任务。

实验结果

研究问题

• RQ1 如何设计协方差核以支持高维输入空间中高效且可解释的高斯过程建模？
• RQ2 在克里金法背景下，加法协方差核具有哪些理论与实际特性？
• RQ3 加法核结构在多大程度上降低了计算成本，同时保持了预测精度？
• RQ4 当真实函数并非严格加法时，加法核是否仍能有效建模近似加法的函数？
• RQ5 与标准满秩协方差核相比，加法核框架在可扩展性和模型可解释性方面表现如何？

主要发现

• 与满秩核相比，加法协方差核显著减少了所需超参数的数量，提升了模型可扩展性。
• 加法结构使得即使在高维设置下，后验预测和边际似然的计算也更加高效。
• 尽管存在简化假设，该类模型在近似加法函数上仍保持了良好的预测性能。
• 该框架通过允许各输入维度独立贡献于整体协方差结构，支持可解释建模。
• 在单变量核分量满足温和条件时，正定性等理论性质得以保持。
• 实证结果表明，加法核在计算效率方面优于标准核函数，且在高维测试函数上未造成显著精度损失。