[论文解读] Bayesian Manifold Regression

Yun Yang, David B. Dunson|arXiv (Cornell University)|May 3, 2013

Gaussian Processes and Bayesian Inference参考文献 31被引用 5

一句话总结

本文提出了一种贝叶斯非参数回归方法，通过利用高维预测变量中的流形结构，而无需显式估计底层流形。通过在回归函数上直接施加高斯过程先验，并采用适应于内在维度的协方差结构，该方法在温和正则性条件下实现了极小极大最优后验收缩速率，从而在内在维度较低的高维设置下实现了高效且理论基础坚实的非参数回归。

ABSTRACT

There is increasing interest in the problem of nonparametric regression with high-dimensional predictors. When the number of predictors $D$ is large, one encounters a daunting problem in attempting to estimate a $D$-dimensional surface based on limited data. Fortunately, in many applications, the support of the data is concentrated on a $d$-dimensional subspace with $d \ll D$. Manifold learning attempts to estimate this subspace. Our focus is on developing computationally tractable and theoretically supported Bayesian nonparametric regression methods in this context. When the subspace corresponds to a locally-Euclidean compact Riemannian manifold, we show that a Gaussian process regression approach can be applied that leads to the minimax optimal adaptive rate in estimating the regression function under some conditions. The proposed model bypasses the need to estimate the manifold, and can be implemented using standard algorithms for posterior computation in Gaussian processes. Finite sample performance is illustrated in an example data analysis.

研究动机与目标

• 开发一种计算上可行且理论上有依据的贝叶斯非参数回归方法，适用于内在维度较低的高维预测变量。
• 解决当数据位于低维流形附近时估计高维回归曲面的挑战。
• 在未知流形结构下，实现回归函数的极小极大最优自适应后验收缩速率。
• 在不显式估计流形的同时，仍能利用数据的几何结构。
• 提供一种可扩展的、能表征不确定性的方法，在高维非参数回归中保持理论保证。

提出的方法

• 该方法采用一种适应于数据流形内在维度的平方指数协方差函数的高斯过程先验。
• 假设数据支撑位于一个局部欧几里得的紧致黎曼流形上，其维度为 $ d \ll D $，并构建一种隐式尊重该几何结构的先验。
• 通过将几何结构直接嵌入高斯过程的协方差函数中，避免了显式流形估计，从而利用流形的局部性质。
• 后验计算使用标准的高斯过程算法，确保计算上的可行性。
• 理论分析依赖于覆盖熵界和先验集中不等式，以推导后验收缩速率。
• 该方法能自适应于回归函数的未知光滑度和内在维度 $ d $，在正则性条件下实现最优速率。

实验结果

研究问题

• RQ1 贝叶斯非参数回归方法是否能在不显式估计底层低维流形的情况下，实现极小极大最优后验收缩速率？
• RQ2 如何构建一个高斯过程先验，使其能适应高维设置下回归函数的内在维度 $ d $ 和光滑度 $ s $？
• RQ3 基于流形的高斯过程回归在何种理论条件下可实现最优自适应速率？
• RQ4 该方法是否能在避免显式流形学习的同时，保持计算效率和不确定性量化？
• RQ5 流形的内在维度 $ d $ 和函数的光滑度 $ s $ 对后验收缩速率有何影响？

主要发现

• 所提出的贝叶斯流形回归在真实回归函数属于 H\
• 该方法即使在 $ d $ 未知的情况下，也能实现对回归函数内在维度 $ d $ 和光滑度 $ s $ 的最优自适应。
• 在假设数据位于 $ d $-维紧致黎曼流形上的前提下，后验收缩速率匹配非参数回归的极小极大下界。
• 该方法避免了显式流形估计，转而依赖于其协方差结构隐式编码流形几何的高斯过程先验。
• 通过覆盖熵界和先验集中不等式建立了理论保证，表明后验以最优速率收缩。
• 模拟实验中的有限样本表现证实了该方法相对于竞争方法的优异实际性能，尤其在内在维度较低的高维设置中。