[论文解读] Frequentist coverage and sup-norm convergence rate in Gaussian process regression

Yun Yang, Anirban Bhattacharya+1 more|arXiv (Cornell University)|Aug 16, 2017

Gaussian Processes and Bayesian Inference参考文献 38被引用 36

一句话总结

本文在随机设计下为高斯过程回归中的贝叶斯可信区间和可信带建立了频率学派覆盖理论，表明当先验过于平滑时，推断具有保守性，覆盖概率收敛至介于名义水平与1之间的非退化值。通过一种新颖的上确界范数下的伯恩斯坦-冯·米塞斯结果，推导出极小极大最优的上确界范数后验收缩率，该结果经由高斯过程比较定理和后验的正则化M-估计器近似所验证。

ABSTRACT

Gaussian process (GP) regression is a powerful interpolation technique due to its flexibility in capturing non-linearity. In this paper, we provide a general framework for understanding the frequentist coverage of point-wise and simultaneous Bayesian credible sets in GP regression. As an intermediate result, we develop a Bernstein von-Mises type result under supremum norm in random design GP regression. Identifying both the mean and covariance function of the posterior distribution of the Gaussian process as regularized $M$-estimators, we show that the sampling distribution of the posterior mean function and the centered posterior distribution can be respectively approximated by two population level GPs. By developing a comparison inequality between two GPs, we provide exact characterization of frequentist coverage probabilities of Bayesian point-wise credible intervals and simultaneous credible bands of the regression function. Our results show that inference based on GP regression tends to be conservative; when the prior is under-smoothed, the resulting credible intervals and bands have minimax-optimal sizes, with their frequentist coverage converging to a non-degenerate value between their nominal level and one. As a byproduct of our theory, we show that the GP regression also yields minimax-optimal posterior contraction rate relative to the supremum norm, which provides a positive evidence to the long standing problem on optimal supremum norm contraction rate in GP regression.

研究动机与目标

• 为随机设计下高斯过程回归中贝叶斯可信集的频率学派有效性建立理论框架。
• 解决高斯过程回归在上确界范数下最优后验收缩率这一长期悬而未决的开放问题。
• 刻画在先验被错误设定或过于平滑时，逐点与联合可信集的覆盖行为。
• 为高斯过程回归建立一种上确界范数下的伯恩斯坦-冯·米塞斯型结果，将后验行为与正则化M-估计器联系起来。
• 利用高斯过程比较定理和后验的上确界范数近似，精确刻画频率学派覆盖概率。

提出的方法

• 通过两个总体水平的高斯过程近似后验均值和中心化后验分布，实现对后验的频率学派分析。
• 本文将后验均值和协方差识别为正则化M-估计器，将贝叶斯高斯过程回归与频率学派估计理论联系起来。
• 提出一种新颖的高斯过程之间的比较不等式，以控制后验相对于真实函数的上确界范数偏差。
• 该理论依赖于截断的叠缩和形式的链式论证，以控制由函数和输入空间索引的随机过程的上确界。
• 通过Sobolev型熵条件控制函数空间的覆盖数，利用函数类的正则性控制度量熵。
• 分析使用了在次指数增量下的精细浓度不等式，边界通过链式法和度量熵考虑推导得出。

实验结果

研究问题

• RQ1 在随机设计下，高斯过程回归中逐点可信区间的频率学派覆盖概率是多少？
• RQ2 当先验相对于真实函数过于平滑时，联合可信带的覆盖行为如何？
• RQ3 高斯过程回归是否在上确界范数下实现了极小极大最优的后验收缩率？
• RQ4 在随机设计设定下，是否可为高斯过程回归在上确界范数下建立伯恩斯坦-冯·米塞斯定理？
• RQ5 先验平滑性与非参数高斯过程回归中贝叶斯可信集的渐近覆盖之间存在何种关系？

主要发现

• 在高斯过程回归中，可信区间和可信带具有保守性：当先验过于平滑时，其频率学派覆盖概率收敛至严格介于名义水平与1之间的非退化值。
• 在上确界范数下的后验收缩率是极小极大最优的，为高斯过程回归中一个长期悬而未决的问题提供了肯定解答。
• 后验均值和中心化后验分布的抽样分布渐近地由两个总体水平的高斯过程近似，从而支持频率学派推断。
• 在上确界范数下存在伯恩斯坦-冯·米塞斯型结果，当满足适当的正则性条件时，后验以极小极大速率集中在真实函数周围。
• 可信集的覆盖性能在很大程度上依赖于先验平滑性：当平滑性匹配时，覆盖趋于名义水平；当先验过于平滑时，覆盖具有保守性且大小最优。
• 该理论表明，上确界范数下的后验收缩率受真实函数正则性与先验正则性之和的限制，且显式依赖于样本大小和设计密度。