[论文解读] Extrinsic Gaussian processes for regression and classification on manifolds

Lizhen Lin, Mu Niu+2 more|arXiv (Cornell University)|Jun 27, 2017

Morphological variations and asymmetry参考文献 25被引用 3

一句话总结

本文通过将流形嵌入欧几里得空间并在嵌入像上构建核函数，提出了一种用于流形上回归与分类的外蕴高斯过程（eGPs）。该方法继承了欧几里得高斯过程的优良理论性质，并在紧致流形上平滑函数的后验收缩率达到最优速率。

ABSTRACT

Gaussian processes (GPs) are very widely used for modeling of unknown functions or surfaces in applications ranging from regression to classification to spatial processes. Although there is an increasingly vast literature on applications, methods, theory and algorithms related to GPs, the overwhelming majority of this literature focuses on the case in which the input domain corresponds to a Euclidean space. However, particularly in recent years with the increasing collection of complex data, it is commonly the case that the input domain does not have such a simple form. For example, it is common for the inputs to be restricted to a non-Euclidean manifold, a case which forms the motivation for this article. In particular, we propose a general extrinsic framework for GP modeling on manifolds, which relies on embedding of the manifold into a Euclidean space and then constructing extrinsic kernels for GPs on their images. These extrinsic Gaussian processes (eGPs) are used as prior distributions for unknown functions in Bayesian inferences. Our approach is simple and general, and we show that the eGPs inherit fine theoretical properties from GP models in Euclidean spaces. We consider applications of our models to regression and classification problems with predictors lying in a large class of manifolds, including spheres, planar shape spaces, a space of positive definite matrices, and Grassmannians. Our models can be readily used by practitioners in biological sciences for various regression and classification problems, such as disease diagnosis or detection. Our work is also likely to have impact in spatial statistics when spatial locations are on the sphere or other geometric spaces.

研究动机与目标

• 解决流形值预测变量在回归与分类任务中缺乏实用且理论基础坚实的高斯过程模型的问题。
• 克服在非欧几里得流形上构建有效协方差核函数的挑战。
• 开发一种通用且可实现的框架，保留标准欧几里得空间中高斯过程的关键理论性质。
• 在涉及脑成像、形状空间和正定矩阵等复杂数据结构的应用中，实现准确的不确定性量化与预测。
• 提供一种可扩展且灵活的方法，适用于多种流形，包括球面、格拉斯曼流形和形状空间。

提出的方法

• 使用等变嵌入 J 将光滑的 d 维流形 M 嵌入更高维的欧几里得空间 ℝ^D。
• 在嵌入流形 J(M) ⊂ ℝ^D 上使用标准欧几里得核函数（如平方指数核）定义外蕴核函数。
• 通过将 J(M) 上的高斯过程拉回到原始流形 M，构建 eGP 先验，确保所得过程继承光滑性与正则性。
• 在贝叶斯回归与分类中使用 eGP 作为先验，其中似然函数在输入流形上条件定义。
• 通过 M 上函数与其在 J(M) 上像之间的一一对应关系，将问题简化为 ℝ^D 中的标准高斯过程理论，从而建立后验收缩速率。
• 应用 Yang 和 Dunson（2016）的理论结果，在固定设计与随机设计两种设定下推导后验集中速率。

实验结果

研究问题

• RQ1 能否为任意流形上的高斯过程回归与分类开发一种通用且实用的框架？
• RQ2 如何为非欧几里得流形上的高斯过程构建有效且计算可行的协方差核函数？
• RQ3 外蕴高斯过程在多大程度上继承了欧几里得空间中标准高斯过程的理论性质？
• RQ4 外蕴高斯过程在光滑流形上的回归函数后验收缩速率如何？
• RQ5 该框架能否在脑成像和几何域上的空间统计等实际问题中有效应用？

主要发现

• eGP 框架通过嵌入到欧几里得空间并构建外蕴核函数，为流形上的高斯过程建模提供了一种通用且可实现的解决方案。
• eGPs 继承了标准高斯过程的关键理论性质，包括后验一致性与最优收缩速率。
• 在固定设计下，对于 Hölder 光滑度为 s（s ≤ 2）的函数，后验以速率 εₙ = n^(-s/(2s+d)) (log n)^(d+1) 收缩至真实回归函数。
• 在随机设计下，后验收缩速率在关于设计测度 g 的 L²(g) 范数下实现，且在相同光滑度条件下成立。
• 该方法适用于多种流形，包括球面、形状空间、正定矩阵流形以及格拉斯曼流形。
• 该框架在基于 DTI 数据的疾病诊断或基于标志点的脑成像等应用中，能够实现准确的不确定性量化与预测。