[论文解读] Diffusion Based Gaussian Processes on Restricted Domains

David B. Dunson, Hau‐Tieng Wu+1 more|arXiv (Cornell University)|Oct 14, 2020

Gaussian Processes and Bayesian Inference参考文献 14被引用 6

一句话总结

本文提出基于扩散的高斯过程（DB-GPs），通过在受限域上利用扩散过程导出的内在几何距离来建模协方差。通过使用图拉普拉斯矩阵的特征对近似热核，DB-GPs 在计算效率上达到与标准高斯过程方法相当的水平，同时在非线性、受限输入空间（如湖泊边缘附近的空间数据）上表现出更优的性能。

ABSTRACT

In nonparametric regression and spatial process modeling, it is common for the inputs to fall in a restricted subset of Euclidean space. For example, the locations at which spatial data are collected may be restricted to a narrow non-linear subset, such as near the edge of a lake. Typical kernel-based methods that do not take into account the intrinsic geometric of the domain across which observations are collected may produce sub-optimal results. In this article, we focus on solving this problem in the context of Gaussian process (GP) models, proposing a new class of diffusion-based GPs (DB-GPs), which learn a covariance that respects the geometry of the input domain. We use the term `diffusion-based' as the idea is to measure intrinsic distances between inputs in a restricted domain via a diffusion process. As the heat kernel is intractable computationally, we approximate the covariance using finitely-many eigenpairs of the Graph Laplacian (GL). Our proposed algorithm has the same order of computational complexity as current GP algorithms using simple covariance kernels. We provide substantial theoretical support for the DB-GP methodology, and illustrate performance gains through toy examples, simulation studies, and applications to ecology data.

研究动机与目标

• 解决标准基于核函数的高斯过程在输入位于受限、非线性域（如空间边界）时性能欠佳的问题。
• 开发一种协方差函数，编码输入域内的内在几何距离，而非依赖欧氏距离。
• 通过使用图拉普拉斯矩阵的有限个特征对来近似不可解的热核，确保计算效率。
• 为DB-GP框架提供理论依据，并通过合成数据与真实生态数据验证其经验优越性。

提出的方法

• 将输入域建模为黎曼流形或图，并通过受热方程控制的扩散过程定义内在距离。
• 使用图拉普拉斯矩阵的前 K 个特征对来近似热核（定义协方差的核心），以确保计算可行性。
• 将 DB-GP 协方差函数构建为特征函数的加权和，其中权重由对应特征值导出。
• 将所得近似热核用作高斯过程回归框架中的核函数。
• 通过限制所用特征对的数量，确保方法与标准高斯过程算法具有相同的计算复杂度。
• 利用谱图论将几何结构嵌入核函数，从而在弯曲或受限域上实现更好的泛化能力。

实验结果

研究问题

• RQ1 与标准核函数相比，基于扩散的协方差函数是否能提升在受限、非线性输入域上的高斯过程回归性能？
• RQ2 使用图拉普拉斯矩阵的有限个特征对近似热核，对预测准确率和计算成本有何影响？
• RQ3 DB-GP 方法在多大程度上能够捕捉复杂域（如生态数据中的空间边界）的内在几何结构？
• RQ4 所提出的方法是否在保持计算效率的同时，相较于传统高斯过程模型在预测性能上表现更优？

主要发现

• DB-GPs 在具有非线性、受限域（如圆形或弯曲流形）的合成数据上，显著优于使用各向同性核的标准高斯过程模型。
• 通过仅使用图拉普拉斯矩阵的有限个特征对，该方法实现了与标准高斯过程算法相当的计算复杂度。
• 模拟研究显示，DB-GPs 在受限于狭窄、非线性区域的空间数据上，提供了更精确的不确定性量化和更优的预测性能。
• 在生态数据应用中，DB-GPs 在湖泊边缘等环境边界附近，对物种分布模式的建模表现更优。
• 理论分析证实，随着特征对数量的增加，DB-GP 协方差函数会收敛至真实的热核，支持其一致性。
• 实证结果表明，特征对数量的选择在准确率与计算成本之间存在权衡，超过某一阈值后收益递减。