[论文解读] Adaptive Deep Kernel Learning

Prudencio Tossou, Basile Dura+3 more|arXiv (Cornell University)|May 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用 19

一句话总结

该论文提出自适应深度核学习（ADKL），一种新颖的框架，通过深度神经网络学习任务特定核函数族，以提升少样本回归（FSR）性能。通过在测试阶段利用集合嵌入和可微核方法自适应调整核函数，ADKL在真实世界药物发现和合成FSR基准上均优于单核DKL及当前最先进模型，展现出更优的泛化能力和主动学习效率。

ABSTRACT

Deep kernel learning provides an elegant and principled framework for combining the structural properties of deep learning algorithms with the flexibility of kernel methods. By means of a deep neural network, we learn a parametrized kernel operator that can be combined with a differentiable kernel algorithm during inference. While previous work within this framework has focused on learning a single kernel for large datasets, we learn a kernel family for a variety of few-shot regression tasks. Compared to single deep kernel learning, our algorithm enables the identification of the appropriate kernel for each task during inference. As such, it is well adapted for complex task distributions in a few-shot learning setting, which we demonstrate by comparing against existing state-of-the-art algorithms using real-world, few-shot regression tasks related to the field of drug discovery.

研究动机与目标

• 为解决缺乏真实世界少样本回归基准的问题，特别是在数据稀缺领域（如药物发现）中的问题。
• 通过在测试阶段实现核函数自适应，提升少样本回归的泛化能力，克服固定核或度量方法的局限性。
• 开发一种深度核学习框架，学习核函数族而非单一全局核函数。
• 在真实世界FSR数据集上评估该方法，并在标准和主动学习设置下与当前最先进算法进行比较。
• 展示基于高斯过程（GP）的贝叶斯不确定性估计相较于确定性模型（如CNP）在主动样本选择中的优势。

提出的方法

• ADKL使用深度神经网络将输入特征嵌入潜在空间，实现任务特定核函数的学习。
• 采用集合嵌入技术将支持集编码为任务表征，用于条件化核函数超参数。
• 结合可微核方法——特别是核岭回归（KRR）和高斯过程（GP）——以支持端到端训练与基于梯度的优化。
• 引入元正则化项以稳定任务编码器的学习，并提升在多样化少样本任务上的泛化能力。
• 在测试阶段根据支持集动态选择核函数超参数，实现对新任务的自适应泛化。
• 通过选择预测熵最大的样本，将主动学习集成到模型中，利用GP变体的不确定性估计。

实验结果

研究问题

• RQ1 一种学习核函数族的深度核学习框架是否能在少样本回归中实现优于单核DKL的泛化性能？
• RQ2 与固定核或度量方法相比，测试阶段的核函数自适应如何提升少样本回归的性能？
• RQ3 基于GP的ADKL所提供的贝叶斯不确定性估计是否能比确定性模型（如CNP）带来更有效的主动学习？
• RQ4 不同基础核函数（如线性核与RBF核）及正则化策略在元学习设置下对泛化性能有何影响？
• RQ5 能否有效利用来自药物发现的真实世界少样本回归基准数据集来评估并推进FSR算法的发展？

主要发现

• ADKL-GP在主动学习中始终优于CNP，在正弦基准任务上实现最优性能所需查询次数显著更少。
• ADKL-GP在最多20次查询时仍保持稳定性能，而CNP在超过10次查询后性能下降，表明其具有更好的泛化能力。
• 使用非零元正则化（γ）可提升在不同超参数配置下的泛化性能，表明其在稳定任务编码器方面的价值。
• 在线性核与RBF核的比较中，线性核在所有配置下均表现出更优的泛化性能，可能是因为RBF核在共享缩放参数的适应过程中更复杂。
• ADKL-KRR与ADKL-GP均优于单核DKL，证明学习核函数族可增强测试阶段的适应能力。
• 作者发布了两个来自药物发现的真实世界FSR数据集，为未来实际少样本回归研究提供了新基准。