[论文解读] A Joint introduction to Gaussian Processes and Relevance Vector Machines with Connections to Kalman filtering and other Kernel Smoothers

Luca Martino, Jesse Read|arXiv (Cornell University)|Sep 19, 2020

Gaussian Processes and Bayesian Inference参考文献 53被引用 70

一句话总结

本文通过核岭回归，建立了一个统一的概率框架，将高斯过程（GPs）与相关向量机（RVMs）联系起来，揭示了其与卡尔曼滤波及核平滑器的关联。研究证明，在特定状态空间模型下，GP平滑解在数学上等价于卡尔曼平滑解，从而为贝叶斯非参数方法与信号处理方法中的回归、滤波、平滑和插值提供了统一的视角。

ABSTRACT

The expressive power of Bayesian kernel-based methods has led them to become an important tool across many different facets of artificial intelligence, and useful to a plethora of modern application domains, providing both power and interpretability via uncertainty analysis. This article introduces and discusses two methods which straddle the areas of probabilistic Bayesian schemes and kernel methods for regression: Gaussian Processes and Relevance Vector Machines. Our focus is on developing a common framework with which to view these methods, via intermediate methods a probabilistic version of the well-known kernel ridge regression, and drawing connections among them, via dual formulations, and discussion of their application in the context of major tasks: regression, smoothing, interpolation, and filtering. Overall, we provide understanding of the mathematical concepts behind these models, and we summarize and discuss in depth different interpretations and highlight the relationship to other methods, such as linear kernel smoothers, Kalman filtering and Fourier approximations. Throughout, we provide numerous figures to promote understanding, and we make numerous recommendations to practitioners. Benefits and drawbacks of the different techniques are highlighted. To our knowledge, this is the most in-depth study of its kind to date focused on these two methods, and will be relevant to theoretical understanding and practitioners throughout the domains of data-science, signal processing, machine learning, and artificial intelligence in general.

研究动机与目标

• 建立高斯过程（GPs）与相关向量机（RVMs）在回归任务中的共同理论与计算框架。
• 通过概率核岭回归（贝叶斯岭回归）阐明GP与RVM方法之间的联系。
• 在具有特定协方差结构的离散时间状态空间模型下，证明高斯过程平滑与卡尔曼平滑之间的等价性。
• 通过将GPs、RVMs、核平滑器与卡尔曼滤波相联系，统一机器学习、信号处理与统计学中的核心概念。
• 为GP与RVM框架中的不确定性估计、核选择以及函数先验/后验采样提供实用指导。

提出的方法

• 通过在系数上施加自动相关性确定（ARD）先验的贝叶斯线性回归推导RVM解。
• 引入一种概率核岭回归（KRR）版本，作为RVM与GP之间的桥梁，称为“准-GP”。
• 通过零均值高斯过程先验与平稳协方差函数 ψ(t, t′) = γ^|t−t′|σ²_v / (1 − γ²) 推导GP解。
• 建立对偶形式，表明RVM解可在特定核结构下被解释为GP后验。
• 通过将GP协方差函数映射为一阶马尔可夫过程的状态空间模型，证明GP平滑与卡尔曼平滑的等价性。
• 利用连续时间线性随机微分方程推导底层GP过程的谱密度与协方差函数，将其与状态空间模型的功率谱密度相联系。

实验结果

研究问题

• RQ1 高斯过程与相关向量机如何在统一的概率框架下统一？
• RQ2 在离散时间与连续时间下，GP平滑与卡尔曼平滑之间的精确数学关系是什么？
• RQ3 在预测方差与可解释性方面，RVM中基函数的选择与GP中核选择有何异同？
• RQ4 核岭回归、核平滑器与k-NN方法与GP及RVM方法之间存在何种关联？
• RQ5 能否从具有常系数的线性SDE推导出GP的状态空间模型表示？这与过程的谱密度有何关系？

主要发现

• 当GP协方差函数对应于具有特定自相关结构的一阶马尔可夫过程时，GP平滑解在数学上等价于卡尔曼平滑解。
• GP模型中的预测方差在远离观测点时表现出良好且单调的衰减，而RVM由于基函数选择可能导致反直觉的方差行为。
• RVM在基函数设计上更具灵活性，支持领域特定建模，而GPs受限于必须定义有效核函数。
• 由具有常系数的线性SDE导出的GP过程的功率谱密度，与卡尔曼滤波状态转移动态的谱表示完全匹配。
• 卡尔曼平滑中的后向递推过程精确重现了在相同核函数与观测模型下GP的后验均值与方差。
• 本文证明，GP中的核函数可由状态空间模型中的状态转移矩阵隐式诱导，从而在贝叶斯非参数回归与经典滤波理论之间建立了深层联系。