[论文解读] An analytic comparison of regularization methods for Gaussian Processes

Hossein Mohammadi, Rodolphe Le Riche+3 more|arXiv (Cornell University)|Feb 2, 2016

Advanced Multi-Objective Optimization AlgorithmsComputer Science参考文献 20被引用 18

一句话总结

本文对高斯过程（GPs）中的伪逆（PI）正则化与噪声项正则化进行了严格的分析比较，表明PI方法会平均冗余点处的响应值并将方差设为零，而噪声项正则化则保留各个独立值。主要贡献在于提出了一种数据-模型差异度量以指导正则化选择，并引入了一种新型的分布级高斯过程，通过插值概率分布而非点值来提升正则化的鲁棒性。

ABSTRACT

Gaussian Processes (GPs) are a popular approach to predict the output of a parameterized experiment. They have many applications in the field of Computer Experiments, in particular to perform sensitivity analysis, adaptive design of experiments and global optimization. Nearly all of the applications of GPs require the inversion of a covariance matrix that, in practice, is often ill-conditioned. Regularization methodologies are then employed with consequences on the GPs that need to be better understood.The two principal methods to deal with ill-conditioned covariance matrices are i) pseudoinverse and ii) adding a positive constant to the diagonal (the so-called nugget regularization).The first part of this paper provides an algebraic comparison of PI and nugget regularizations. Redundant points, responsible for covariance matrix singularity, are defined. It is proven that pseudoinverse regularization, contrarily to nugget regularization, averages the output values and makes the variance zero at redundant points. However, pseudoinverse and nugget regularizations become equivalent as the nugget value vanishes. A measure for data-model discrepancy is proposed which serves for choosing a regularization technique.In the second part of the paper, a distribution-wise GP is introduced that interpolates Gaussian distributions instead of data points. Distribution-wise GP can be seen as an improved regularization method for GPs.

研究动机与目标

• 针对病态协方差矩阵的高斯过程回归，对伪逆（PI）与噪声项正则化进行严格的分析比较。
• 定义并表征导致高斯过程回归中协方差矩阵奇异性的冗余点。
• 提出并表征一种数据-模型差异度量，以指导PI与噪声项正则化之间的选择。
• 引入一种分布级高斯过程框架，通过插值概率分布而非点观测值来提升正则化的鲁棒性。
• 建立伪逆与噪声项正则化在噪声值τ²趋近于零时的理论等价性。

提出的方法

• 利用协方差矩阵C的特征值分解，分析PI与噪声项正则化对解空间的影响。
• 将冗余点定义为具有相同输入坐标的点，其在协方差矩阵中导致零特征值。
• 基于C的特征分解，推导两种正则化方案下的高斯过程回归的似然函数。
• 引入一个差异度量Δ(τ²)，量化原始响应数据与平均后响应数据之间对数似然的差异。
• 提出一种分布级高斯过程模型，将重复响应的点观测替换为经验分布。
• 证明当冗余点处响应方差增加时，噪声项τ²的最大似然估计值非减小，从而验证了差异度量的单调性。

实验结果

研究问题

• RQ1 在高斯过程回归中，伪逆与噪声项正则化对冗余数据点的处理方式有何不同？
• RQ2 伪逆与噪声项正则化之间存在何种理论关系？在何种条件下二者等价？
• RQ3 能否推导出一种数据-模型差异度量，以客观选择PI或噪声项正则化？
• RQ4 在存在重复观测的情况下，分布级高斯过程模型相较于标准高斯过程正则化有何改进？
• RQ5 当冗余点处的方差增加时，最大似然估计下的噪声项τ²是否变大？

主要发现

• 伪逆正则化会平均冗余点处的响应值，并将这些位置的克里金方差设为零，而噪声项正则化则保留各个独立值。
• 当噪声值τ²趋近于零时，伪逆与噪声项正则化在预测均值和方差上渐近等价。
• 数据-模型差异度量Δ(τ²)单调递减，量化了原始响应数据与平均后响应数据之间对数似然的差异。
• 当冗余点处的响应方差增加时，噪声项τ²的最大似然估计值不会减小，若方差增加为正，则估计值严格增大。
• 分布级高斯过程模型通过插值重复点处响应的概率分布，相比基于点观测的标准高斯过程，提供了更具鲁棒性的正则化框架。
• 理论分析表明，基于似然的τ²选择与冗余点处观测到的变异性一致，验证了差异度量作为决策准则的有效性。