[论文解读] Maximum likelihood estimation for Gaussian processes under inequality constraints

François Bachoc, Agnès Lagnoux+1 more|arXiv (Cornell University)|Apr 10, 2018

Statistical Methods and Inference参考文献 47被引用 1

一句话总结

本文研究在固定域渐近框架下，对具有不等式约束（如有界性、单调性或凸性）的高斯过程进行最大似然估计（MLE）的问题。证明了无约束MLE与约束MLE（cMLE）具有相同的渐近分布，表明约束对渐近影响可忽略不计。模拟结果证实cMLE能提升有限样本下的精度，且研究还扩展至带噪声观测和预测问题。

ABSTRACT

We consider covariance parameter estimation for a Gaussian process under inequality constraints (boundedness, monotonicity or convexity) in fixed-domain asymptotics. We address the estimation of the variance parameter and the estimation of the microergodic parameter of the Mat\'ern and Wendland covariance functions. First, we show that the (unconstrained) maximum likelihood estimator has the same asymptotic distribution, unconditionally and conditionally to the fact that the Gaussian process satisfies the inequality constraints. Then, we study the recently suggested constrained maximum likelihood estimator. We show that it has the same asymptotic distribution as the (unconstrained) maximum likelihood estimator. In addition, we show in simulations that the constrained maximum likelihood estimator is generally more accurate on finite samples. Finally, we provide extensions to prediction and to noisy observations.

研究动机与目标

• 分析在有界性、单调性或凸性等不等式约束下，高斯过程最大似然估计量（MLE）的渐近行为。
• 比较在过程满足约束条件下，MLE与约束MLE（cMLE）的渐近条件分布与无条件分布。
• 评估在实际应用中，cMLE相对于无约束MLE在有限样本下的性能表现。
• 将框架扩展至带约束的预测与噪声观测模型。
• 为空间与计算机实验应用中的约束协方差参数估计建立理论基础。

提出的方法

• 采用固定域渐近框架，即观测点位置在固定有界区域内趋于密集。
• 运用渐近空间统计、高斯过程极值理论以及再生核希尔伯特空间（RKHS）的工具，推导渐近分布。
• 提出一种显式将不等式约束融入似然优化过程的约束最大似然估计量（cMLE）。
• 利用条件期望与概率界，推导在过程满足约束条件下MLE与cMLE的渐近条件分布。
• 采用柯西-施瓦茨不等式与詹森不等式，控制条件期望中的近似误差。
• 将结果扩展至预测与噪声观测模型，表明cMLE在保持良好有限样本性质方面表现优异。

实验结果

研究问题

• RQ1 当高斯过程满足有界性、单调性或凸性等不等式约束时，MLE的渐近分布是否发生变化？
• RQ2 在相同约束条件下，约束MLE（cMLE）是否在分布上渐近等价于无约束MLE？
• RQ3 在精度与精确度方面，cMLE相较于MLE在有限样本下的表现如何？
• RQ4 cMLE能否在保持渐近与有限样本性质的前提下，扩展至预测与噪声观测模型？
• RQ5 在约束条件下，微ergodic参数估计的影响是什么？是否影响预测质量？

主要发现

• 在给定高斯过程满足不等式约束的条件下，MLE的渐近条件分布与无条件渐近分布完全相同。
• 约束MLE（cMLE）的渐近分布与无约束MLE一致，表明约束对估计的渐近影响可忽略不计。
• 模拟结果表明，cMLE在有限样本下通常比MLE更精确，尤其在有界性、单调性或凸性约束下表现更优。
• 在与无约束MLE相同的正则性条件下，cMLE保持一致性和渐近正态性。
• 对预测与噪声观测模型的扩展表明，cMLE保持了有利的有限样本性质，并改善了预测区间。
• 理论证明依赖于RKHS理论、高斯过程极值分析及条件概率界，其技术发展超越了以往的一致性结果。