[论文解读] A Structured Prediction Approach for Conditional Meta-Learning.

Ruohan Wang, Yiannis Demiris+1 more|arXiv (Cornell University)|Feb 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 29被引用 4

一句话总结

本文提出任务自适应结构化元学习（TASML），一种基于结构化预测的方法，通过根据目标任务动态加权元训练数据，以提升元学习性能。通过将元目标条件化于特定任务上下文，TASML 在少样本学习基准上实现了最先进精度与效率，优于现有的基于优化的元学习方法。

ABSTRACT

Optimization-based meta-learning algorithms are a powerful class of methods for learning-to-learn applications such as few-shot learning. They tackle the limited availability of training data by leveraging the experience gained from previously observed tasks. However, when the complexity of the tasks distribution cannot be captured by a single set of shared meta-parameters, existing methods may fail to fully adapt to a target task. We address this issue with a novel perspective on conditional meta-learning based on structured prediction. We propose task-adaptive structured meta-learning (TASML), a principled estimator that weighs meta-training data conditioned on the target task to design tailored meta-learning objectives. In addition, we introduce algorithmic improvements to tackle key computational limitations of existing methods. Experimentally, we show that TASML outperforms state-of-the-art methods on benchmark datasets both in terms of accuracy and efficiency. An ablation study quantifies the individual contribution of model components and suggests useful practices for meta-learning.

研究动机与目标

• 解决现有基于优化的元学习方法在处理无法由单一组共享元参数捕捉的复杂任务分布时的局限性。
• 克服当前方法在任务复杂度超过固定元参数表达能力时无法充分适应目标任务的问题。
• 构建一个原则化的条件化元学习框架，根据目标任务上下文定制元训练数据的加权方式。
• 在保持少样本学习任务高性能的同时，提升元学习算法的计算效率与可扩展性。

提出的方法

• 将条件化元学习建模为结构化预测问题，模型根据输入任务特征预测特定于任务的元目标权重。
• 设计一种可微的、任务自适应的加权机制，根据元训练样本与目标任务的相关性重新加权。
• 将结构化预测整合到元优化循环中，学习一种上下文感知的元学习器，使其目标能根据当前任务进行定制。
• 引入算法优化以减少计算开销，实现在元学习设置中高效训练与推理。
• 使用神经网络预测基于任务嵌入的元目标权重，支持端到端反向传播训练。
• 利用结构化预测损失，确保在多样化任务分布上元目标适应的一致性与连贯性。

实验结果

研究问题

• RQ1 结构化预测能否有效应用于条件化元学习，以提升任务特定适应能力？
• RQ2 与固定元参数相比，对元训练数据进行任务自适应加权如何影响元学习性能？
• RQ3 TASML在少样本学习基准中在准确率与计算效率方面提升了多少？
• RQ4 通过消融研究，TASML中各组件对整体性能的贡献如何？

主要发现

• TASML在标准少样本学习基准上实现了最先进准确率，优于现有的基于优化的元学习方法。
• 由于算法优化减少了训练与推理开销，该方法表现出更高的计算效率。
• 消融研究证实，任务自适应加权显著贡献于性能提升，验证了核心设计选择的有效性。
• 与标准元学习方法相比，结构化预测框架在复杂任务分布上展现出更好的泛化能力。
• 模型能够根据任务上下文条件化元目标，从而为每个目标任务实现更有效且个性化的学习。
• 定量结果表明，该方法在多个数据集上均表现出一致的改进，证实了所提方法的鲁棒性。