[论文解读] Learning to Learn Kernels with Variational Random Features

Xiantong Zhen, Haoliang Sun+5 more|UvA-DARE (University of Amsterdam)|Jun 11, 2020

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

该论文提出 MetaVRF，一种元学习框架，通过变分推断学习用于少样本学习中核方法的自适应随机傅里叶特征。通过将随机特征的谱分布建模为潜在变量，并利用基于长短期记忆网络（LSTM）的推理网络提取跨任务的共享知识，MetaVRF 在低采样率下实现了高性能核函数，从而实现对新任务的快速适应。

ABSTRACT

In this work, we introduce kernels with random Fourier features in the meta-learning framework to leverage their strong few-shot learning ability. We propose meta variational random features (MetaVRF) to learn adaptive kernels for the base-learner, which is developed in a latent variable model by treating the random feature basis as the latent variable. We formulate the optimization of MetaVRF as a variational inference problem by deriving an evidence lower bound under the meta-learning framework. To incorporate shared knowledge from related tasks, we propose a context inference of the posterior, which is established by an LSTM architecture. The LSTM-based inference network can effectively integrate the context information of previous tasks with task-specific information, generating informative and adaptive features. The learned MetaVRF can produce kernels of high representational power with a relatively low spectral sampling rate and also enables fast adaptation to new tasks. Experimental results on a variety of few-shot regression and classification tasks demonstrate that MetaVRF delivers much better, or at least competitive, performance compared to existing meta-learning alternatives.

研究动机与目标

• 为解决少样本学习中数据稀缺导致核函数质量受限的问题，学习信息丰富且具有判别性的核函数。
• 通过将随机傅里叶特征基视为潜在变量，将核学习与元学习相结合。
• 通过结构化推理机制利用相关任务的共享知识，实现对新任务的快速适应。
• 在保持高表征能力的同时，减少有效核近似所需的谱采样率。
• 开发一种灵活的端到端框架，适用于多种少样本学习场景，包括训练与测试条件不一致的情况。

提出的方法

• 将元学习中的核学习形式化为变分推断问题，将随机傅里叶特征基视为潜在变量。
• 推导出适用于元学习的新证据下界（ELBO），实现对随机特征谱分布的合理优化。
• 引入基于 LSTM 的推理网络，对谱分布的后验分布进行建模，结合任务特定的支持集信息与先前任务的上下文。
• 利用 LSTM 的隐藏状态累积并优化跨任务的共享元知识，实现长期依赖建模。
• 采用双向 LSTM 变体，进一步提升上下文整合与特征表示质量。
• 通过学习低采样率（D）下的任务自适应谱分布，实现高效的核近似，降低计算成本。

实验结果

研究问题

• RQ1 变分推断能否在元学习框架下有效应用于学习少样本学习中的自适应随机傅里叶特征？
• RQ2 如何利用多个相关任务的共享知识来提升低数据场景下的核函数质量与泛化能力？
• RQ3 基于 LSTM 的推理网络在整合先前任务上下文后，能在多大程度上增强随机特征的表征能力？
• RQ4 与现有元学习方法相比，MetaVRF 是否在低采样率下仍能实现具有竞争力或更优的性能？
• RQ5 MetaVRF 是否能有效泛化到训练与测试条件不一致的多样化少样本设置中（例如，不同的类别数或样本数）？

主要发现

• 在 5 类 1 样本的 mini-ImageNet 基准上，采用双向 LSTM 的 MetaVRF 达到 63.80% 的准确率，优于先前方法如 LEO（61.76%）和 SNAIL（55.71%）。
• 在 5 类 5 样本设置下，MetaVRF 搭载双向 LSTM 的准确率达到 77.97%，即使使用远少于标准 RFF 的基函数，仍显著超越常规 RFF 的表现。
• MetaVRF 在低谱采样率下保持强性能：其在相同基函数数量下优于标准 RFF，展现出高效率。
• 该模型对具有挑战性的测试条件具有鲁棒的泛化能力：当在 20 类 5 样本任务上训练时，其在 100 类分类任务上达到 94% 的准确率。
• 使用预训练的 WRN-28-10 嵌入向量的 MetaVRF 在 mini-ImageNet 上实现了最先进性能，证实其与深度特征提取器的兼容性。
• 消融实验表明，基于 LSTM 的上下文推理至关重要——无 LSTM 的 MetaVRF 表现较差，而双向 LSTM 变体表现最佳。