[论文解读] Meta-Learning Mean Functions for Gaussian Processes

Vincent Fortuin, Heiko Strathmann+1 more|arXiv (Cornell University)|Jan 23, 2019

Gaussian Processes and Bayesian Inference参考文献 40被引用 20

一句话总结

本文提出通过元学习高斯过程（GPs）的均值函数来提升低数据量任务的性能，采用深度神经网络参数化均值函数，并在相关元任务间进行优化。实验结果表明，学习均值函数能持续提升预测性能，优于标准GP基线模型和仅学习核函数的元学习方法，尤其在真实世界医疗时间序列任务中表现显著。

ABSTRACT

When fitting Bayesian machine learning models on scarce data, the main challenge is to obtain suitable prior knowledge and encode it into the model. Recent advances in meta-learning offer powerful methods for extracting such prior knowledge from data acquired in related tasks. When it comes to meta-learning in Gaussian process models, approaches in this setting have mostly focused on learning the kernel function of the prior, but not on learning its mean function. In this work, we explore meta-learning the mean function of a Gaussian process prior. We present analytical and empirical evidence that mean function learning can be useful in the meta-learning setting, discuss the risk of overfitting, and draw connections to other meta-learning approaches, such as model agnostic meta-learning and functional PCA.

研究动机与目标

• 解决高斯过程元学习中均值函数学习这一研究不足的挑战，尽管其具有编码先验知识的潜力。
• 探究元学习均值函数是否能提升低数据量场景下的泛化能力，特别是在仅学习核函数不足以满足需求时。
• 通过在多个相关任务间进行元学习，而非采用标准监督优化，降低均值函数学习中的过拟合风险。
• 将所提方法与MAML和函数主成分分析（functional PCA）等成熟元学习框架建立联系，以增强理论基础。
• 在真实世界医疗时间序列预测任务中展示均值函数元学习的实际应用价值，其中数据稀缺是主要挑战。

提出的方法

• 使用深度神经网络参数化高斯过程的均值函数，实现灵活且数据驱动的先验编码。
• 通过最小化一组元任务上的期望负对数边际似然，利用元学习优化均值函数参数。
• 采用元学习框架，其中每个元任务是从相关分布中采样的小数据集，目标任务是新的低数据量任务。
• 采用双层优化方案：内层在每个元任务上执行高斯过程推理，外层通过梯度下降更新元参数。
• 将元学习得到的均值函数与元学习得到的核函数联合使用，实现联合先验学习，提升灵活性与性能。
• 将方法应用于合成基准数据集和来自PhysioNet 2012挑战赛的真实世界医疗时间序列数据，采用RMSE和MAE等标准评估指标。

实验结果

研究问题

• RQ1 与标准GP或仅学习核函数的元学习相比，对高斯过程的均值函数进行元学习是否能在低数据量预测任务中带来性能提升？
• RQ2 在元学习设置下学习均值函数时，过拟合风险如何？与标准监督学习相比有何差异？
• RQ3 在何种条件下元学习均值函数特别有益，尤其是与元学习核函数相比？
• RQ4 所提方法与MAML和函数主成分分析等现有元学习框架有何关联？
• RQ5 在医疗时间序列预测等现实世界高影响力应用中，均值函数元学习是否能带来持续的性能增益？

主要发现

• 在基准回归任务中，均值函数元学习持续优于使用固定均值或仅学习核函数的GP模型，RMSE和MAE均有显著改善。
• 在PhysioNet 2012医疗时间序列数据集上，采用元学习均值函数的模型在BUN任务中RMSE更低（例如，1.58 ± 0.10），优于仅学习核函数或固定均值的基线模型。
• 与标准监督优化相比，该方法在元任务间表现出更稳定的性能，表明其过拟合风险更低。
• 实证结果表明，同时学习均值函数和核函数可获得最佳性能，且均值函数对预测准确率有显著贡献。
• 该方法在多种任务上（包括合成函数和真实临床数据）均表现出显著的实证优势，验证了其泛化能力。
• 与MAML和函数主成分分析的理论与实证联系表明，均值函数元学习与元学习中归纳偏置迁移的普遍原则相一致。