[论文解读] Additive Kernels for Gaussian Process Modeling

Nicolas Durrande, David Ginsbourger+1 more|arXiv (Cornell University)|Mar 21, 2011

Advanced Multi-Objective Optimization Algorithms参考文献 15被引用 13

一句话总结

该论文提出Additive Kriging，一种将可加性直接嵌入核结构的高斯过程模型，以实现在高维输入空间中的高效、可解释且概率上合理的建模。通过使用松弛似然最大化（RLM）算法进行参数估计，该方法在预测性能上可与广义可加模型（GAMs）相媲美，同时保持了完整的不确定性量化和核函数灵活性，在Sobol’s g函数等高维测试案例中优于标准Kriging。

ABSTRACT

Gaussian Process (GP) models are often used as mathematical approximations of computationally expensive experiments. Provided that its kernel is suitably chosen and that enough data is available to obtain a reasonable fit of the simulator, a GP model can beneficially be used for tasks such as prediction, optimization, or Monte-Carlo-based quantification of uncertainty. However, the former conditions become unrealistic when using classical GPs as the dimension of input increases. One popular alternative is then to turn to Generalized Additive Models (GAMs), relying on the assumption that the simulator's response can approximately be decomposed as a sum of univariate functions. If such an approach has been successfully applied in approximation, it is nevertheless not completely compatible with the GP framework and its versatile applications. The ambition of the present work is to give an insight into the use of GPs for additive models by integrating additivity within the kernel, and proposing a parsimonious numerical method for data-driven parameter estimation. The first part of this article deals with the kernels naturally associated to additive processes and the properties of the GP models based on such kernels. The second part is dedicated to a numerical procedure based on relaxation for additive kernel parameter estimation. Finally, the efficiency of the proposed method is illustrated and compared to other approaches on Sobol's g-function.

研究动机与目标

• 通过将可加性直接嵌入核结构，解决经典高斯过程模型中的维度灾难问题。
• 开发一种数值高效且数据驱动的方法，用于估计可加GP模型中的核参数。
• 将可加模型的可解释性和复杂度降低特性与高斯过程的完整概率框架相结合。
• 在高维代理建模中实现不确定性量化和预测方差估计。
• 证明可加GP模型能够匹配甚至超越GAMs的性能，同时保留高斯过程特有的优势。

提出的方法

• 提出一种新颖的可加核结构，其中完整的协方差函数被分解为一元核函数之和，从而保证结果GP在构造上即为可加的。
• 推导出可加GP协方差核的解析形式，确保平稳性并正确建模可加分量。
• 引入一种松弛似然最大化（RLM）算法，通过将似然函数分解为子问题，迭代优化核参数，从而在高维空间中提升收敛性。
• 在RLM中使用BFGS算法对边际似然进行数值优化，并引入松弛步骤以稳定参数更新。
• 采用分层参数估计策略，其中每个一元分量在其他分量条件下的基础上进行更新，从而保持可加结构。
• 在4维Sobol’s g-function示例中应用该方法，采用拉丁超立方采样（LHS）并使用预测系数$Q_2$评估性能。

实验结果

研究问题

• RQ1 能否将可加结构直接嵌入高斯过程的核函数中，以提升高维输入空间中的可扩展性和可解释性？
• RQ2 基于RLM的Additive Kriging在预测准确性和不确定性量化方面，与标准Kriging和GAM相比表现如何？
• RQ3 RLM算法在可加GP模型中是否比标准似然最大化提供更稳定和高效的参数估计？
• RQ4 在高维设置下，可加核结构在多大程度上保持了高斯过程的概率特性（如预测方差）？
• RQ5 所提出的方法能否有效建模具有强主效应和弱交互作用的函数（如Sobol’s g-function）？

主要发现

• RLM算法在20个LHS DoEs中实现了平均$Q_2$为0.90（标准偏差0.016），优于标准Kriging（$Q_2 = 0.82$）和基于ULM的Additive Kriging（$Q_2 = 0.88$）。
• 基于RLM的Additive Kriging实现了$Q_2 = 0.90$，与GAMs性能相当，而GAMs在可加建模中被视为黄金标准。
• 观测噪声$ au^2$从初始值降至0.01（经过5次RLM迭代），表明模型收敛且拟合度提高。
• 通过RLM获得的一元子模型在1D投影中与g-function的解析主效应高度近似。
• 该方法在高维设置中表现出鲁棒性和稳定性，其$Q_2$方差低于标准Kriging和Marrel方法。
• Additive Kriging保留了完整的概率框架，包括预测方差，而该方差在各一元模型间并非可加，从而证明其优于独立的一元代理模型。