[论文解读] Consistency of Empirical Bayes And Kernel Flow For Hierarchical Parameter Estimation

Yifan Chen, Houman Owhadi+1 more|arXiv (Cornell University)|May 22, 2020

Gaussian Processes and Bayesian Inference参考文献 41被引用 4

一句话总结

本文建立了在高斯过程回归中，经验贝叶斯（EB）与核流（KF）在分层参数估计下的的一致性，证明了EB在大样本极限下收敛于真实正则化参数 $ s $，而KF收敛于 $ \frac{s - d/2}{2} $。主要贡献在于对隐式偏差与模型误设下鲁棒性的理论分析，数值实验表明尽管EB在模型正确设定时方差更低，KF在模型误设情形下表现更优。

ABSTRACT

Gaussian process regression has proven very powerful in statistics, machine learning and inverse problems. A crucial aspect of the success of this methodology, in a wide range of applications to complex and real-world problems, is hierarchical modeling and learning of hyperparameters. The purpose of this paper is to study two paradigms of learning hierarchical parameters: one is from the probabilistic Bayesian perspective, in particular, the empirical Bayes approach that has been largely used in Bayesian statistics; the other is from the deterministic and approximation theoretic view, and in particular the kernel flow algorithm that was proposed recently in the machine learning literature. Analysis of their consistency in the large data limit, as well as explicit identification of their implicit bias in parameter learning, are established in this paper for a Matérn-like model on the torus. A particular technical challenge we overcome is the learning of the regularity parameter in the Matérn-like field, for which consistency results have been very scarce in the spatial statistics literature. Moreover, we conduct extensive numerical experiments beyond the Matérn-like model, comparing the two algorithms further. These experiments demonstrate learning of other hierarchical parameters, such as amplitude and lengthscale; they also illustrate the setting of model misspecification in which the kernel flow approach could show superior performance to the more traditional empirical Bayes approach.

研究动机与目标

• 分析经验贝叶斯（EB）与核流（KF）在高斯过程分层参数估计中的一致性与隐式偏差。
• 在环面上的Matérn类模型中，建立EB与KF估计器对正则化参数的理论收敛性。
• 比较EB与KF在模型误设下的鲁棒性，特别是对正则化参数与不连续点位置的恢复能力。
• 通过数值实验将分析扩展至幅度、长度尺度及变系数椭圆算子等情形。
• 基于傅里叶级数构建理论框架，用于分析正则化参数学习，适用于模型正确与误设的情形。

提出的方法

• 采用环面上的Matérn类核函数，并通过傅里叶级数表征以分析正则化参数 $ s $。
• 通过在分层高斯过程先验下最大化边际似然，应用经验贝叶斯方法。
• 采用核流作为确定性、逼近理论方法，最小化观测函数与预测函数之间的 $ L^2 $ 误差。
• 通过大样本极限分析推导一致性结果，证明EB与KF估计器在概率意义下的收敛性。
• 引入基于傅里叶的工具包，用于分析核函数的谱性质及其诱导的正则化。
• 在模型正确与误设情形下开展数值实验，比较EB与KF在恢复幅度、长度尺度与不连续性参数方面的性能。

实验结果

研究问题

• RQ1 在大样本极限下，经验贝叶斯估计器能否一致地恢复Matérn类模型中的真实正则化参数 $ s $？
• RQ2 核流估计器能否一致地恢复与真实正则化参数相关的参数？若能，其极限值为何？
• RQ3 EB与KF在正则化参数上的隐式偏差有何不同？是什么驱动了它们不同的收敛行为？
• RQ4 在模型误设下，特别是当真实过程与假设核形式不匹配时，EB与KF的表现如何？
• RQ5 基于傅里叶分析的理论框架能否扩展至恢复多个超参数（如幅度与长度尺度）？

主要发现

• 在大样本极限下，经验贝叶斯估计器以概率收敛于真实正则化参数 $ s $，适用于Matérn类模型。
• 核流估计器以概率收敛于 $ \frac{s - d/2}{2} $，该值对应于实现快速 $ L^2 $ 误差率的最小参数。
• 在模型正确设定时，EB在正则化参数估计中表现出比KF更低的方差，表明当先验正确时EB具有更高的统计效率。
• 在模型误设情形下（尤其是不连续性检测中），核流显著优于经验贝叶斯，表现出对错误建模假设更强的鲁棒性。
• 傅里叶级数工具包能够实现对正则化参数的严格分析，并证明在Matérn类模型中EB对幅度恢复的一致性。
• 数值实验确认，两种方法在模型正确设定时均能有效恢复幅度、长度尺度与不连续性位置；但在模型误设下，EB性能下降，而KF仍保持良好表现。