[论文解读] Non-Gaussian Gaussian Processes for Few-Shot Regression

Marcin Sendera, Jacek Tabor+6 more|arXiv (Cornell University)|Oct 26, 2021

Gaussian Processes and Bayesian Inference参考文献 49被引用 5

一句话总结

该论文提出非高斯高斯过程（NGGPs），一种新颖方法，通过使用基于可逆常微分方程（ODE）的归一化流来建模局部非高斯后验预测分布，从而增强高斯过程（GPs）在少样本回归中的性能。通过在随机向量各分量间共享流参数，并将其基于上下文嵌入进行条件化，NGGPs在多样化的少样本回归基准上实现了最先进性能，尤其在建模复杂、多模态及异方差数据分布方面表现卓越。

ABSTRACT

Gaussian Processes (GPs) have been widely used in machine learning to model distributions over functions, with applications including multi-modal regression, time-series prediction, and few-shot learning. GPs are particularly useful in the last application since they rely on Normal distributions and enable closed-form computation of the posterior probability function. Unfortunately, because the resulting posterior is not flexible enough to capture complex distributions, GPs assume high similarity between subsequent tasks - a requirement rarely met in real-world conditions. In this work, we address this limitation by leveraging the flexibility of Normalizing Flows to modulate the posterior predictive distribution of the GP. This makes the GP posterior locally non-Gaussian, therefore we name our method Non-Gaussian Gaussian Processes (NGGPs). More precisely, we propose an invertible ODE-based mapping that operates on each component of the random variable vectors and shares the parameters across all of them. We empirically tested the flexibility of NGGPs on various few-shot learning regression datasets, showing that the mapping can incorporate context embedding information to model different noise levels for periodic functions. As a result, our method shares the structure of the problem between subsequent tasks, but the contextualization allows for adaptation to dissimilarities. NGGPs outperform the competing state-of-the-art approaches on a diversified set of benchmarks and applications.

研究动机与目标

• 解决标准高斯过程在建模真实少样本学习任务中常见的复杂、非高斯分布时的僵化问题。
• 克服高斯过程后验分布受高斯假设过度约束的局限，特别是在多模态或异方差回归中。
• 通过基于归一化流的上下文感知自适应噪声建模，实现跨差异较大的少样本任务的泛化能力。
• 在保持计算效率和闭式推理的同时，提升标准高斯过程的建模灵活性。
• 在多样化的少样本回归基准上展示卓越性能，包括真实世界的时间序列和EEG数据。

提出的方法

• 提出非高斯高斯过程（NGGPs），通过连续归一化流（CNFs）修改高斯过程后验预测分布。
• 采用在随机变量向量各分量上独立运行的可逆ODE映射，实现灵活的非高斯变换。
• 在所有分量间共享ODE流的参数，以保持参数效率和可扩展性。
• 将流参数基于支持集数据提取的上下文嵌入进行条件化，使模型能够适应任务特定特征，如噪声水平和函数形状。
• 利用归一化流将标准高斯先验转换为复杂、局部非高斯的后验分布，同时保持闭式后验计算能力。
• 通过反向传播通过ODE求解器，端到端地使用最大似然估计进行NGGPs训练，同时优化核超参数和流参数。

实验结果

研究问题

• RQ1 归一化流是否能有效使高斯过程后验在局部呈现非高斯性，同时保持闭式推理？
• RQ2 与标准高斯过程及其他最先进方法相比，NGGPs在少样本设置下对复杂、多模态或异方差回归函数的建模能力如何？
• RQ3 上下文条件化的流参数化在多大程度上提升了在差异较大的少样本任务间的泛化能力？
• RQ4 所提出的基于ODE的流架构是否相比标准核基高斯过程模型提供了更好的归纳偏置和不确定性量化？
• RQ5 在哪些真实世界少样本回归场景中，NGGP优于现有方法，特别是在数据偏离高斯假设时？

主要发现

• NGGPs在多样化的少样本回归基准上实现了最先进性能，包括合成多模态函数、NASDAQ100股票数据和EEG时间序列。
• 在NASDAQ100数据集上，NGGP使用RBF核的MSE为0.012 ± 0.014（在范围）和0.016 ± 0.034（超出范围），显著优于DKT及其他基线方法。
• 对于EEG数据，NGGP使用RBF核的MSE为0.222 ± 0.181（在范围）和0.463 ± 0.415（超出范围），在非高斯、噪声较大的生物信号上表现出强鲁棒性。
• NGGPs通过学习上下文相关的流参数，有效建模具有不同噪声水平的周期性函数，实现对多模态正弦函数的精确重构。
• 所有数据集上的NLL得分均得到改善，表明相比标准高斯过程和DKT，NGGPs在不确定性量化和似然拟合方面表现更优。
• 尽管计算成本高于标准高斯过程，NGGPs在灵活性与性能之间提供了有力权衡，尤其在复杂、非高斯场景中表现突出。