[论文解读] Deep Kernel Transfer in Gaussian Processes for Few-shot Learning

Massimiliano Patacchiola, Jack Turner+2 more|arXiv (Cornell University)|Oct 11, 2019

Gaussian Processes and Bayesian Inference参考文献 51被引用 19

一句话总结

本文提出在高斯过程中使用深度核迁移以实现少样本学习，通过在任务间迁移学习到的核函数，无需估计任务特定参数。该方法在少样本回归、分类及跨域适应任务中提升了性能，并提供了不确定性量化。

ABSTRACT

Humans tackle new problems by making inferences that go far beyond the information available, reusing what they have previously learned, and weighing different alternatives in the face of uncertainty. Incorporating these abilities in an artificial system is a major objective in machine learning. Towards this goal, we adapt Gaussian Processes (GPs) to tackle the problem of few-shot learning. We propose a simple, yet effective variant of deep kernel learning in which the kernel is transferred across tasks, which we call deep kernel transfer. This approach is straightforward to implement, provides uncertainty quantification, and does not require estimation of task-specific parameters. We empirically demonstrate that the proposed method outperforms several state-of-the-art algorithms in few-shot regression, classification, and cross-domain adaptation.

研究动机与目标

• 通过利用相关任务的先验知识，解决少样本学习的挑战。
• 实现从有限标注样本中的有效泛化，这是传统少样本方法的关键局限。
• 提出一种核迁移机制，避免在高斯过程中估计任务特定参数。
• 提升在少样本回归、分类及跨域适应任务中的性能。
• 在预测的同时提供不确定性估计，这在关键决策应用中具有重要意义。

提出的方法

• 通过在任务间迁移深度核函数，将高斯过程适配于少样本学习。
• 使用从元训练任务分布中学习到的共享深度核结构。
• 通过将核函数固定为预训练的、可迁移的形式，避免学习任务特定的超参数。
• 仅使用少量标注样本，将迁移后的核函数应用于新任务，实现快速推理。
• 利用高斯过程固有的不确定性量化能力，评估预测置信度。
• 在少样本任务分布上训练深度核函数，使模型能够泛化到未见过的任务。

实验结果

研究问题

• RQ1 在高斯过程中进行核迁移是否能在无需任务特定参数调优的情况下提升少样本泛化能力？
• RQ2 在回归与分类任务中，深度核迁移与当前最先进少样本学习方法相比表现如何？
• RQ3 在跨域适应任务中，该方法在多大程度上实现了跨领域的泛化？
• RQ4 在低数据场景下，该方法是否能保持可靠的不确定性估计？
• RQ5 当在多样化的少样本基准上测试时，该方法的鲁棒性如何？

主要发现

• 所提出的深度核迁移方法在回归与分类任务中优于多种当前最先进少样本学习算法。
• 该方法在跨域适应任务中表现强劲，证明了其在不同数据分布间的可迁移性。
• 通过避免任务特定参数估计，该方法简化了训练与推理过程，同时保持了高精度。
• 高斯过程框架提供了有意义的不确定性估计，这对低数据环境下可靠决策至关重要。
• 实证结果证实，核迁移显著提升了在多样化少样本任务中的泛化能力。