[论文解读] MetaFun: Meta-Learning with Iterative Functional Updates

Jin Xu, Jean-François Ton+3 more|arXiv (Cornell University)|Dec 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用 10

一句话总结

MetaFun 提出了一种元学习框架，通过迭代的函数更新将上下文数据编码为无限维的函数表示，从而在少样本学习中提升泛化能力。通过学习一种类似于函数梯度下降的神经更新规则，该方法在 miniImageNet 和 tieredImageNet 上实现了最先进性能，且无需依赖 MAML 风格的优化。

ABSTRACT

We develop a functional encoder-decoder approach to supervised meta-learning, where labeled data is encoded into an infinite-dimensional functional representation rather than a finite-dimensional one. Furthermore, rather than directly producing the representation, we learn a neural update rule resembling functional gradient descent which iteratively improves the representation. The final representation is used to condition the decoder to make predictions on unlabeled data. Our approach is the first to demonstrates the success of encoder-decoder style meta-learning methods like conditional neural processes on large-scale few-shot classification benchmarks such as miniImageNet and tieredImageNet, where it achieves state-of-the-art performance.

研究动机与目标

• 为解决编码-解码元学习模型中固定维向量任务表示的局限性。
• 通过函数表示建模上下文点与目标点之间的交互，提升少样本学习中的泛化能力。
• 探索迭代函数更新作为比直接编码更有效的归纳偏置，用于任务表示。
• 通过函数编码-解码方法在大规模少样本分类基准上实现最先进性能。
• 研究不同组件（局部更新函数、函数池化、迭代次数）对模型性能的影响。

提出的方法

• 模型使用可学习的局部更新函数，通过计算上下文输入上预测标签与真实标签之间的差异，将上下文数据编码为函数表示。
• 函数池化通过注意力机制或深度核机制将局部更新聚合为全局函数更新，实现在输入域上的泛化。
• 通过重复应用更新规则并结合可学习的学习率 α，迭代地优化函数表示，模拟函数梯度下降过程。
• 解码网络基于最终的函数表示，对未标记的目标点生成预测。
• 整个系统通过元学习目标端到端训练，以最小化跨任务在目标数据上的预测误差。
• 通过相应调整损失函数和解码头，该方法支持回归与分类任务。

实验结果

研究问题

• RQ1 随着上下文规模增大，有效维度不断增长的函数表示是否能在少样本元学习中超越固定维向量表示？
• RQ2 与单次编码相比，学习迭代函数更新是否能提升元学习中的泛化性能？
• RQ3 不同类型的局部更新函数（神经网络与基于梯度的方法）在少样本分类任务上的性能表现如何？
• RQ4 不同函数池化机制（如注意力与深度核）在不同少样本设置下的模型性能影响如何？
• RQ5 迭代更新步骤的数量如何影响模型的最终准确率与收敛性？

主要发现

• MetaFun 在 miniImageNet 上实现了最先进性能，1-shot 时准确率为 67.72%，5-shot 时达到 82.81%，优于以往的编码-解码方法。
• 在 tieredImageNet 上，使用基于深度核的函数池化和神经网络局部更新时，模型达到 83.28% 的准确率（5-shot）。
• 使用多个迭代（T ≥ 2）显著优于单次迭代推理，但当 T > 4 后性能增益逐渐减小。
• 尽管基于梯度的局部更新具有归纳偏置，但神经网络参数化的局部更新函数始终优于其表现。
• 在 5-shot 任务中，基于深度核的函数池化优于点积注意力机制；而在 1-shot 任务中，注意力机制表现更优。
• 简单的 SE 核基线表现劣于深度核，表明参数化核函数对于捕捉少样本数据中的复杂交互至关重要。