[论文解读] BdryGP: a new Gaussian process model for incorporating boundary information

Liang Ding, Simon Mak+1 more|arXiv (Cornell University)|Aug 23, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 32被引用 7

一句话总结

该论文提出BdryGP，一种新型高斯过程模型，通过一种新型边界约束马尔可夫协方差函数引入狄利克雷边界信息，实现可证明的更快收敛速率并增强对维度灾难的鲁棒性。通过将高斯过程插值与有限元建模相联系，BdryGP在稀疏网格设计下实现了$ L^p $收敛速率$ \mathcal{O}(n^{-1}) $和统一的高概率界$ \mathcal{O}_{\mathbb{P}}(n^{-1} [\log n]^{2d - 3/2}) $。

ABSTRACT

Gaussian processes (GPs) are widely used as surrogate models for emulating computer code, which simulate complex physical phenomena. In many problems, additional boundary information (i.e., the behavior of the phenomena along input boundaries) is known beforehand, either from governing physics or scientific knowledge. While there has been recent work on incorporating boundary information within GPs, such models do not provide theoretical insights on improved convergence rates. To this end, we propose a new GP model, called BdryGP, for incorporating boundary information. We show that BdryGP not only has improved convergence rates over existing GP models (which do not incorporate boundaries), but is also more resistant to the "curse-of-dimensionality" in nonparametric regression. Our proofs make use of a novel connection between GP interpolation and finite-element modeling.

研究动机与目标

• 为解决边界信息如何提升高斯过程收敛速率的理论理解不足问题。
• 开发一种可证明利用已知边界条件（如狄利克雷条件）以提升预测精度和收敛速度的高斯过程模型。
• 建立高斯过程插值与有限元建模之间的理论联系，以实现更优分析。
• 证明引入边界信息可实现更快收敛速率并增强对维度灾难的鲁棒性。
• 通过高维测试函数的数值模拟验证理论优势。

提出的方法

• 提出一种新型边界约束马尔可夫（BdryMatérn）协方差函数，确保在输入域边界上近乎必然满足狄利克雷边界条件。
• 建立BdryGP预测与有限元法（FEM）插值之间的新颖理论联系，使FEM收敛理论可用于分析。
• 采用稀疏网格设计以确保最优收敛速率，并缓解非参数回归中的维度灾难。
• 定义BdryMatérn核的原生空间，并将其与具有混合一阶导数和边界约束的Sobolev空间$ \mathcal{H}^{1,c}_{\text{mix}}(\mathcal{X}) $相联系。
• 利用FEM-GP等价性，推导BdryGP预测器的确定性$ L^p $收敛速率和概率性一致界。
• 在$ d=10 $维测试函数上开展数值实验，比较BdryGP与标准GP模型在不同边界信息水平下的表现。

实验结果

研究问题

• RQ1 将已知边界信息融入高斯过程模型是否可实现比标准GP模型更快的可证明收敛速率？
• RQ2 在高维非参数回归中，边界约束的引入如何影响收敛速率？
• RQ3 在边界约束函数的背景下，高斯过程插值与有限元建模之间存在何种理论联系？
• RQ4 边界信息在多大程度上缓解了高斯过程回归中的维度灾难？
• RQ5 在实际应用中，BdryGP在完整边界信息与部分边界信息下的性能表现有何差异？

主要发现

• 对于$ f \in \mathcal{H}^{1,c}_{\text{mix}}(\mathcal{X}) $，BdryGP实现了确定性$ L^p $收敛速率$ \mathcal{O}(n^{-1}) $，显著快于标准GP模型在相似光滑性下的$ \mathcal{O}(n^{-1/2} [\log n]^{(5/2)(d-1)}) $速率。
• BdryGP的概率一致界为$ \mathcal{O}_{\mathbb{P}}(n^{-1} [\log n]^{2d - 3/2}) $，优于无约束高斯过程的$ \mathcal{O}_{\mathbb{P}}(n^{-1/2} [\log n]^{(5/2)d - 2}) $速率。
• 在三个$ d=10 $维测试函数上的数值模拟表明，BdryGP在完整边界信息下，$ L^1 $误差的衰减速率约为标准GP模型的两倍，误差随稀疏网格层级$ k $按$ \mathcal{O}(2^{-k}) $衰减。
• 完整边界与部分边界BdryGP之间的误差比始终高于1.0，证实完整边界信息带来更优性能，尽管随着样本量增加，性能差距逐渐缩小。
• 理论分析表明，由于强制施加边界约束，BdryGP对维度灾难更具鲁棒性，从而在高维中提升收敛效率。
• BdryGP与FEM插值之间的等价性为计算优化提供了可能，暗示未来可实现无需完整矩阵求逆的可扩展预测与似然评估。