[论文解读] Complex-Valued Gaussian Processes for Regression: A Widely Non-Linear Approach

Rafael Boloix-Tortosa, Eva Arias-de-Reyna+2 more|arXiv (Cornell University)|Nov 18, 2015

Gaussian Processes and Bayesian Inference参考文献 14被引用 5

一句话总结

本文提出了一种广义非线性复数高斯过程回归（WCGPR）框架，该框架结合了核函数与伪核函数，以建模复数值输出，其灵感源自广义线性最小均方误差（WLMMSE）理论。该方法通过捕捉复数域中的非线性依赖关系，特别是在输出为非平稳（improper）时，显著提升了标准复数GPR的回归性能。

ABSTRACT

In this paper we propose a novel Bayesian kernel based solution for regression in complex fields. We develop the formulation of the Gaussian process for regression (GPR) to deal with complex-valued outputs. Previous solutions for kernels methods usually assume a complexification approach, where the real-valued kernel is replaced by a complex-valued one. However, based on the results in complex-valued linear theory, we prove that both a kernel and a pseudo-kernel are to be included in the solution. This is the starting point to develop the new formulation for the complex-valued GPR. The obtained formulation resembles the one of the widely linear minimum mean-squared (WLMMSE) approach. Just in the particular case where the outputs are proper, the pseudo-kernel cancels and the solution simplifies to a real-valued GPR structure, as the WLMMSE does into a strictly linear solution. We include some numerical experiments to show that the novel solution, denoted as widely non-linear complex GPR (WCGPR), outperforms a strictly complex GPR where a pseudo-kernel is not included.

研究动机与目标

• 解决现有复数值核方法仅依赖复化实值核函数而未考虑伪核贡献的局限性。
• 为复数值输出开发一种贝叶斯回归框架，将广义线性方法推广至非线性场景。
• 证明在复数GPR中引入伪核可提升建模精度，尤其适用于非平稳复数值输出。
• 建立基于复数值线性理论的复数值GPR理论基础，证明核函数与伪核函数项的必要性。

提出的方法

• 基于复数值线性理论，同时使用核函数与伪核函数，构建复数值高斯过程回归。
• 采用类似于广义线性最小均方误差（WLMMSE）估计器的广义线性结构，并将其扩展至非线性、基于核的回归。
• 通过复数值核函数及其共轭形式，定义预测均值与协方差，实现对实部与虚部的联合建模。
• 确保当输出为平稳时，该公式退化为标准实数值GPR，保持与现有方法的一致性。
• 通过受控回归任务中的数值实验，将WCGPR与不包含伪核的标准复数GPR进行对比。

实验结果

研究问题

• RQ1 如何将高斯过程回归推广至复数值输出，而不仅仅是对实值核函数进行复化？
• RQ2 伪核在复数值回归中的理论作用是什么？在何种情况下其存在是必要的？
• RQ3 在复数GPR中引入伪核是否能带来可测量的性能提升，相较于标准复数GPR？
• RQ4 在何种条件下，广义非线性复数GPR会退化为标准实数值GPR？

主要发现

• 根据复数值线性理论，当输出为非平稳时，复数值GPR中伪核的引入在理论上是必要的。
• 所提出的广义非线性复数GPR（WCGPR）在数值实验中表现优于忽略伪核的标准复数GPR。
• 当输出为平稳时，伪核项消失，WCGPR退化为标准实数值GPR，确保了向后兼容性。
• WCGPR的公式继承了广义线性最小均方误差（WLMMSE）估计器的结构，将其扩展至非线性、基于核的学习场景。