[论文解读] Graph Based Gaussian Processes on Restricted Domains

David B. Dunson, Hau‐Tieng Wu+1 more|arXiv (Cornell University)|Oct 14, 2020

Gaussian Processes and Bayesian Inference参考文献 36被引用 4

一句话总结

本文提出基于图拉普拉斯的高斯过程（GL-GPs），用于在受限且复杂的域上进行非参数回归，通过学习尊重输入空间内在几何结构的协方差结构。通过利用从欧氏距离构建的图拉普拉斯的有限个特征对来近似热核，GL-GPs 实现了对几何结构敏感的平滑处理，并通过 Nyström 方法实现对新数据的扩展，理论上达到最优后验收缩速率，实践中显著提升了预测精度，尤其在手部表面等非线性流形上表现优异。

ABSTRACT

In nonparametric regression, it is common for the inputs to fall in a restricted subset of Euclidean space. Typical kernel-based methods that do not take into account the intrinsic geometry of the domain across which observations are collected may produce sub-optimal results. In this article, we focus on solving this problem in the context of Gaussian process (GP) models, proposing a new class of Graph Laplacian based GPs (GL-GPs), which learn a covariance that respects the geometry of the input domain. As the heat kernel is intractable computationally, we approximate the covariance using finitely-many eigenpairs of the Graph Laplacian (GL). The GL is constructed from a kernel which depends only on the Euclidean coordinates of the inputs. Hence, we can benefit from the full knowledge about the kernel to extend the covariance structure to newly arriving samples by a Nyström type extension. We provide substantial theoretical support for the GL-GP methodology, and illustrate performance gains in various applications.

研究动机与目标

• 解决标准 GP 模型在输入位于具有复杂几何结构的受限非线性域时性能不佳的问题。
• 开发一种 GP 框架，学习尊重输入域内在几何结构的协方差函数，而无需事先知晓流形结构。
• 在固定设计下，为所提出的 GL-GP 模型提供后验收缩速率的理论保证。
• 通过基于图拉普拉斯特征对的 Nyström 类扩展，实现可扩展的推理与样本外预测。
• 在具有几何结构的真实和合成数据上，展示 GL-GPs 相较于基于欧氏距离核的标准 GP 模型在性能上的实证优越性。

提出的方法

• 基于欧氏距离定义邻域结构，使用核函数（如高斯核）从输入点构建加权图。
• 从图的邻接矩阵和度矩阵计算图拉普拉斯矩阵。
• 利用图拉普拉斯的前 $K$ 个特征对近似热核协方差，替代难以计算的热核。
• 使用基于图拉普拉斯的协方差 $\mathsf{C}_{\epsilon,K}(x,y,\mathbf{T})$ 定义 GP 先验，其中 $\mathbf{T}$ 是具有先验 $g(t)$ 的随机带宽参数。
• 通过利用图拉普拉斯特征分解的 Nyström 类扩展，实现样本外预测。
• 在固定设计设置下推导后验收缩速率，证明该方法在正则性条件下可实现近似最优收敛。

实验结果

研究问题

• RQ1 GP 模型是否能在不事先知晓其流形结构的情况下，学习到尊重受限非线性域内在几何结构的协方差函数？
• RQ2 基于图拉普拉斯对热核近似的 GP 先验的理论后验收缩速率是多少？
• RQ3 所提出的 GL-GP 在具有复杂几何结构的域上与使用欧氏距离核的标准 GP 模型相比，性能如何？
• RQ4 GL-GP 框架是否能够通过特征分解与 Nyström 扩展支持可扩展的推理与样本外预测？
• RQ5 在非参数回归中，GL-GP 在何种条件下可实现最优或近似最优的收敛速率？

主要发现

• 在正则性条件下，GL-GP 的后验收缩速率为 $\gamma_n = \left(\frac{n}{\log n}\right)^{-\frac{d}{2q+2d}}$，趋近于给定函数类的 minimax 最优速率。
• 实证结果表明，在雷诺氏病患者的 3D 手部表面数据上，预测精度显著提升，而标准 GP 模型因欧氏距离假设错误地在手指间进行平滑处理。
• 使用图拉普拉斯特征对可提供对难以计算的热核的计算上可行的近似，从而实现对几何结构敏感的平滑。
• Nyström 类扩展通过利用预计算的图拉普拉斯特征分解，实现了对新输入的高效预测。
• 理论分析证实，GL-GP 先验的收缩速率取决于真实函数的光滑度和输入域的维度。
• 该方法对未知域几何结构具有鲁棒性，在输入域并非已知流形时仍表现良好，突破了文献中既有的假设限制。