[论文解读] Remarks on multivariate Gaussian Process

Zexun Chen, Jun Fan+1 more|arXiv (Cornell University)|Oct 19, 2020

Gaussian Processes and Bayesian Inference参考文献 14被引用 5

一句话总结

本文通过将多变量高斯过程（MV-GP）定义为向量值函数空间上的高斯测度，提供了其严格的测度论定义，证明了其存在性，并建立了严格平稳性和独立性等基础性质。该框架将多变量布朗运动作为伊藤引理的特例推导出来，并提出多变量高斯过程回归作为统一的多输出预测框架，支持闭式推理与超参数优化。

ABSTRACT

Gaussian processes occupy one of the leading places in modern statistics and probability theory due to their importance and a wealth of strong results. The common use of Gaussian processes is in connection with problems related to estimation, detection, and many statistical or machine learning models. With the fast development of Gaussian process applications, it is necessary to consolidate the fundamentals of vector-valued stochastic processes, in particular multivariate Gaussian processes, which is the essential theory for many applied problems with multiple correlated responses. In this paper, we propose a precise definition of multivariate Gaussian processes based on Gaussian measures on vector-valued function spaces, and provide an existence proof. In addition, several fundamental properties of multivariate Gaussian processes, such as strict stationarity and independence, are introduced. We further derive multivariate Brownian motion including Itô lemma as a special case of a multivariate Gaussian process, and present a brief introduction to multivariate Gaussian process regression as a useful statistical learning method for multi-output prediction problems.

研究动机与目标

• 通过向量值函数空间上的高斯测度，建立多变量高斯过程的数学上严谨的定义。
• 解决先前应用中未解决的理论空白，特别是多变量高斯过程的存在性问题。
• 提供一种不依赖于矩阵变量子高斯分布向量化处理的多输出预测统一框架。
• 将经典结果如伊藤引理推广至多变量情形，并在新定义下证明其有效性。
• 通过闭式边缘似然与预测分布，实现基于多变量高斯过程回归的稳健统计学习。

提出的方法

• 通过向量值连续函数空间上的高斯测度定义多变量高斯过程，确保与测度论基础的一致性。
• 利用博赫纳-明洛斯定理及函数空间上特征函数的性质，证明多变量高斯过程的存在性。
• 通过协方差结构与谱分析，引入多变量高斯过程的严格平稳性与独立性条件。
• 通过将伊藤公式推广至向量值伊藤过程，推导出d维布朗运动的多变量伊藤引理。
• 利用矩阵变量子高斯分布构建多变量高斯过程回归（MV-GPR），其中核函数包含输出间的相关性。
• 利用克罗内克积与矩阵求逆，以闭式表达预测分布与边缘似然，支持标准优化技术。

实验结果

研究问题

• RQ1 如何为多变量高斯过程提供一个精确且数学上严谨的定义，以将经典高斯过程推广至向量值函数？
• RQ2 如何利用测度论工具证明此类多变量高斯过程的存在性？
• RQ3 多变量布朗运动与伊藤引理能否作为所提出MV-GP框架下的自洽特例被推导出来？
• RQ4 所提出的MV-GP框架如何在不依赖矩阵变量子高斯分布向量化处理的前提下支持多输出回归？
• RQ5 在统计学习方面有何影响，特别是多输出设置下闭式推理与超参数估计的实现？

主要发现

• 本文将多变量高斯过程精确定义为向量值函数空间上的高斯测度，解决了先前工作中存在的基础性模糊问题。
• 通过博赫纳-明洛斯定理提供了存在性证明，证实多变量高斯过程可从特征函数严格构造。
• 多变量布朗运动被证明是MV-GP的一个特例，且伊藤引理被推广至包含交叉变差项的d维过程。
• 多变量高斯过程回归（MV-GPR）被证明可对边缘似然与预测分布给出闭式表达。
• 预测均值与协方差通过矩阵运算表达，其中预测协方差涉及输入协方差与输出相关性矩阵的克罗内克积。
• 由于似然与预测密度具有闭式结构，该框架支持标准优化技术进行超参数估计，如最大似然法。