[论文解读] Maximum Likelihood Estimation in Gaussian Process Regression is Ill-Posed

Toni Karvonen, Chris J. Oates|arXiv (Cornell University)|Mar 17, 2022

Gaussian Processes and Bayesian Inference被引用 10

一句话总结

本文证明，在无噪声设定下，对于任意平稳协方差核，当通过最大似然估计（MLE）估计长度尺度参数时，高斯过程回归中的最大似然估计（MLE）是病态的。作者证明，预测分布在数据上关于 Hellinger 距离不满足利普希茨连续性，这意味着训练数据的微小扰动可能导致预测发生任意大的变化，从而在敏感应用中损害模型的可靠性。

ABSTRACT

Gaussian process regression underpins countless academic and industrial applications of machine learning and statistics, with maximum likelihood estimation routinely used to select appropriate parameters for the covariance kernel. However, it remains an open problem to establish the circumstances in which maximum likelihood estimation is well-posed, that is, when the predictions of the regression model are insensitive to small perturbations of the data. This article identifies scenarios where the maximum likelihood estimator fails to be well-posed, in that the predictive distributions are not Lipschitz in the data with respect to the Hellinger distance. These failure cases occur in the noiseless data setting, for any Gaussian process with a stationary covariance function whose lengthscale parameter is estimated using maximum likelihood. Although the failure of maximum likelihood estimation is part of Gaussian process folklore, these rigorous theoretical results appear to be the first of their kind. The implication of these negative results is that well-posedness may need to be assessed post-hoc, on a case-by-case basis, when maximum likelihood estimation is used to train a Gaussian process model.

研究动机与目标

• 研究在高斯过程回归中最大似然估计（MLE）的适定性，特别是在无噪声插值情形下。
• 确定 MLE 是否在训练数据发生微小扰动时产生稳定的预测。
• 建立 MLE 无法适定的严格理论条件，挑战标准实践中对鲁棒性的假设。
• 为理解在高风险应用中使用的高斯过程模型中 MLE 的可靠性提供正式的理论基础。

提出的方法

• 作者使用 Hellinger 距离作为度量，分析预测分布对训练数据扰动的 Hellinger 连续性。
• 考虑无噪声情形，即数据由固定函数 f 生成，且协方差核为平稳的，长度尺度参数通过 MLE 估计。
• 理论分析依赖于 MLE 目标函数 ℓ(θ|Y) = YₘᵀKθ⁻¹Yₘ + log det Kθ 中的逆协方差矩阵和行列式的性质。
• 针对特定核结构（如具有 Kronecker 或 Vandermonde 类型协方差矩阵的核），分析当长度尺度 λ→∞ 时 Kθ⁻¹ 和 log det Kθ 的行为。
• 证明使用了对逆协方差矩阵和行列式的渐近分析，表明当 λ→∞ 时，二次型 YₘᵀKθ⁻¹Yₘ 保持有界，而 log det Kθ → -∞。
• 一个关键技术工具是使用 Wronskian 及核的傅里叶变换的性质，以证明在渐近情形下极限矩阵的非奇异性质。

实验结果

研究问题

• RQ1 在何种条件下，高斯过程回归中的最大似然估计（MLE）是适定的，即预测在小数据扰动下是否稳定？
• RQ2 MLE 对长度尺度参数是否导致预测分布在训练数据上关于 Hellinger 距离连续？
• RQ3 MLE 在无噪声插值情形下对平稳核的病态性是否为普遍特征？
• RQ4 能否为常见核族（如平方指数核或 Matérn 核）严格证明 MLE 无法适定？

主要发现

• 当通过 MLE 估计长度尺度时，在无噪声设定下，高斯过程回归中的最大似然估计（MLE）对任意平稳协方差核都是病态的。
• 预测分布在数据上关于 Hellinger 距离不满足利普希茨连续性，意味着小的数据扰动可能引起预测的任意大变化。
• 当长度尺度参数 λ→∞ 时，二次型 YₘᵀKλ⁻¹Yₘ 保持有界，而 log det Kλ→-∞，导致 MLE 目标函数不稳定。
• 当 Yₘ 为常数（例如 Yₘ = (c,…,c)）时，二次型的极限存在且有限，但行列式项占主导，使目标函数趋于 -∞。
• 当核的导数的 Wronskian 非奇异时，若核的傅里叶变换为正，则可保证渐近矩阵可逆，极限定义良好。
• 不适定性的根源并非数值不稳定性，而是 MLE 目标函数在无噪声情形下的根本性质，挑战其在安全关键应用中的使用。