[论文解读] Convergence Guarantees for Gaussian Process Means With Misspecified Likelihoods and Smoothness

George Wynne, François‐Xavier Briol+1 more|arXiv (Cornell University)|Jan 29, 2020

Gaussian Processes and Bayesian Inference参考文献 99被引用 12

一句话总结

本文为在模型误设条件下（特别是似然或光滑性假设错误时）的高斯过程回归提供了收敛性保证。研究证明，通过调整实验设计与核超参数，可缓解收敛速率下降的问题，并基于散乱数据逼近与再生核希尔伯特空间理论推导出理论边界。

ABSTRACT

Gaussian processes are ubiquitous in machine learning, statistics, and applied mathematics. They provide a flexible modelling framework for approximating functions, whilst simultaneously quantifying uncertainty. However, this is only true when the model is well-specified, which is often not the case in practice. In this paper, we study the properties of Gaussian process means when the smoothness of the model and the likelihood function are misspecified. In this setting, an important theoretical question of practial relevance is how accurate the Gaussian process approximations will be given the difficulty of the problem, our model and the extent of the misspecification. The answer to this problem is particularly useful since it can inform our choice of model and experimental design. In particular, we describe how the experimental design and choice of kernel and kernel hyperparameters can be adapted to alleviate model misspecification.

研究动机与目标

• 解决高斯过程回归中因似然或光滑性假设与真实数据生成过程不匹配而带来的实际挑战。
• 量化模型误设对非参数回归中高斯过程均值收敛速率的影响。
• 为在误设条件下最小化近似误差，提供选择实验设计、核函数与超参数的理论指导。
• 通过分析似然与光滑性误设的联合影响，统一并拓展现有收敛结果。
• 推导出可指导贝叶斯优化、克里金法与不确定性量化等应用中稳健模型设计的边界。

提出的方法

• 利用散乱数据逼近（SDA）理论，推导在误设条件下高斯过程均值的收敛边界。
• 应用再生核希尔伯特空间（RKHS）与索伯列夫空间的结果，刻画光滑性不匹配问题。
• 推导涉及填充距离与核超参数的采样不等式，以界定近似误差。
• 引入一个递归不等式（式36），用于控制函数空间中小球的对数测度，从而实现尾部概率边界。
• 采用准均匀采样策略，确保填充距离较小，这对收敛性保证至关重要。
• 推导后验浓度函数的逆函数边界，将其与目标函数的光滑性及核超参数关联起来。

实验结果

研究问题

• RQ1 似然与光滑性误设如何共同影响高斯过程均值的收敛速率？
• RQ2 实验设计与核超参数在缓解模型误设影响方面发挥何种作用？
• RQ3 当真实似然与假设不同（如非高斯噪声但假设为高斯）时，能否推导出理论收敛边界？
• RQ4 目标函数的光滑性相对于GP先验的光滑性如何影响后验集中速率？
• RQ5 在误设条件下，自适应设计与核选择能在多大程度上提升模型鲁棒性？

主要发现

• 本文证明，即使在似然与光滑性误设条件下，仍可利用散乱数据逼近技术对收敛速率进行有界控制。
• 当真实函数的光滑性低于假设值时（即光滑性误设），收敛速率会下降，但可通过选择合适的核超参数加以缓解。
• 后验集中速率的边界取决于核函数的最小与最大光滑性参数，其速率由 $ \tau_{k}^{-} $ 与 $ \tau_{k}^{+} $ 控制。
• 当 $ n \geq N $ 时，逆浓度函数满足 $ \psi_{\theta_n,f}^{-1}(n) \leq C \max\left(n^{-\tau_f/(2\tau_k^+)}, n^{d/(4\tau_k^{-})-1/2}\right) $，揭示了光滑性与样本量之间的权衡。
• 采样设计的填充距离必须足够小以确保收敛，而准均匀设计能高效实现这一点。
• 理论边界对模型误设具有鲁棒性，并为实际应用中自适应实验设计与核选择提供了框架。