[论文解读] Finite-dimensional Gaussian approximation with linear inequality constraints

Andrés F. López-Lopera, François Bachoc+2 more|arXiv (Cornell University)|Oct 20, 2017

Gaussian Processes and Bayesian Inference参考文献 41被引用 76

一句话总结

该论文通过将一般线性不等式约束（例如有界性、单调性、凸性）重新表述为有限维空间中的凸集，将有限维高斯过程模型扩展至处理这些约束。它引入了哈密顿蒙特卡洛（HMC）以实现高效的后验近似，并对协方差参数估计的约束似然进行了理论和实证验证，展示了在人工数据和真实世界数据上改进的数据拟合效果与更优的不确定性量化表现。

ABSTRACT

Introducing inequality constraints in Gaussian process (GP) models can lead to more realistic uncertainties in learning a great variety of real-world problems. We consider the finite-dimensional Gaussian approach from Maatouk and Bay (2017) which can satisfy inequality conditions everywhere (either boundedness, monotonicity or convexity). Our contributions are threefold. First, we extend their approach in order to deal with general sets of linear inequalities. Second, we explore several Markov Chain Monte Carlo (MCMC) techniques to approximate the posterior distribution. Third, we investigate theoretical and numerical properties of the constrained likelihood for covariance parameter estimation. According to experiments on both artificial and real data, our full framework together with a Hamiltonian Monte Carlo-based sampler provides efficient results on both data fitting and uncertainty quantification.

研究动机与目标

• 将有限维GP框架推广至处理超越有界性、单调性和凸性的各类线性不等式约束。
• 开发并评估在这些约束下用于后验近似高效的马尔可夫链蒙特卡洛（MCMC）方法。
• 研究约束似然函数在协方差参数估计中的理论与数值性质。
• 在合成数据和真实世界数据集（包括核临界性和计量经济学应用）上，展示改进的数据拟合效果与不确定性量化性能。

提出的方法

• 利用帽子基函数，将函数空间上的不等式约束重新表述为有限维系数空间中的凸集。
• 将GP表示为在节点上的分段线性插值，将无穷维约束转化为系数上的有限维线性不等式。
• 利用有限维近似，通过凸集 C ⊆ R^m 在整个输入空间中强制执行约束。
• 应用哈密顿蒙特卡洛（HMC）及其他MCMC技术，从约束后验分布中进行采样。
• 推导在约束条件下协方差参数估计的条件似然，实现合理的推断。
• 通过合成数据和真实世界应用（如核临界性与计量经济学）验证该框架。

实验结果

研究问题

• RQ1 有限维GP框架能否被推广以处理任意线性不等式约束集，而不仅限于有界性、单调性或凸性？
• RQ2 在存在线性不等式约束时，不同MCMC算法在近似后验分布方面的表现如何，尤其是与精确蒙特卡洛方法相比？
• RQ3 约束似然函数在协方差参数估计中的理论与数值性质是什么？
• RQ4 与无约束GP模型相比，所提出的框架是否在具有已知不等式约束的真实世界数据集上实现了改进的数据拟合与不确定性量化？

主要发现

• 所提出的框架成功将有限维GP方法推广至一般线性不等式约束，实现了在整个输入空间上对约束的精确强制执行。
• 哈密顿蒙特卡洛（HMC）提供了一种高效且准确的后验近似方法，其计算成本和可扩展性优于拒绝采样。
• 在温和正则性条件下，约束似然函数是良定义且正定的，确保了协方差参数估计的有效推断。
• 理论结果表明，随着节点数的增加，约束后验分布收敛至真实的约束分布。
• 在人工数据和真实数据（如核临界性、计量经济学模型）上的实证结果表明，与无约束GP模型相比，该框架实现了更优的数据拟合效果和更真实的不确定性量化。
• 通过增加节点数和约束复杂度的数值实验验证，该框架在复杂约束下仍保持计算可行性。