[论文解读] A Hybrid Approach with Optimization and Metric-based Meta-Learner for Few-Shot Learning

Duo Wang, Yu Cheng+3 more|arXiv (Cornell University)|Apr 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用 3

一句话总结

该论文提出 Meta-Metric-Learner，一种混合少样本学习框架，结合基于优化的元学习与基于度量的基学习器，以处理类别数量灵活的任务并提升泛化能力。通过使用 Meta-SGD 元学习器指导任务特定度量学习器中的梯度更新，该模型在标准和现实少样本设置下均取得最先进性能，包括类别分布不平衡和多源数据的情况。

ABSTRACT

Few-shot learning aims to learn classifiers for new classes with only a few training examples per class. Most existing few-shot learning approaches belong to either metric-based meta-learning or optimization-based meta-learning category, both of which have achieved successes in the simplified "$k$-shot $N$-way" image classification settings. Specifically, the optimization-based approaches train a meta-learner to predict the parameters of the task-specific classifiers. The task-specific classifiers are required to be homogeneous-structured to ease the parameter prediction, so the meta-learning approaches could only handle few-shot learning problems where the tasks share a uniform number of classes. The metric-based approaches learn one task-invariant metric for all the tasks. Even though the metric-learning approaches allow different numbers of classes, they require the tasks all coming from a similar domain such that there exists a uniform metric that could work across tasks. In this work, we propose a hybrid meta-learning model called Meta-Metric-Learner which combines the merits of both optimization- and metric-based approaches. Our meta-metric-learning approach consists of two components, a task-specific metric-based learner as a base model, and a meta-learner that learns and specifies the base model. Thus our model is able to handle flexible numbers of classes as well as generate more generalized metrics for classification across tasks. We test our approach in the standard "$k$-shot $N$-way" few-shot learning setting following previous works and a new realistic few-shot setting with flexible class numbers in both single-source form and multi-source forms. Experiments show that our approach can obtain superior performance in all settings.

研究动机与目标

• 解决现有少样本学习方法在任务间假设类别数量一致所带来的局限性。
• 克服基于度量的方法依赖单一任务不变度量而产生的领域泛化问题。
• 使基于优化的元学习能够处理类别数量各异的异构、任务特定网络结构。
• 通过由元学习器引导学习任务自适应度量，提升少样本学习中的泛化能力。
• 在类别分布变化具有现实性的单源和多源少样本学习设置下评估性能。

提出的方法

• 该模型使用 Meta-SGD 元学习器预测初始参数，并指导任务特定度量学习基学习器中的梯度下降。
• 基学习器采用度量学习方法（例如原型网络或匹配网络），具有非参数特性，对类别数量变化具有鲁棒性。
• 元学习器的预测结果用于参数化度量空间，从而实现任务特定度量的自适应。
• 该框架支持单源和多源少样本学习，其中辅助数据源可提升泛化能力。
• 模型采用两阶段训练过程：元学习器学习预测基模型参数，基模型在每个任务上进行微调。
• 该方法在 Omniglot 数据集上通过 90 度旋转进行数据增强，在 1-shot 和 5-shot 设置下进行评估。

实验结果

研究问题

• RQ1 混合元学习框架能否有效处理类别数量各异的少样本学习任务？
• RQ2 元学习器能否引导基于度量的模型在多样化领域中学习任务特定的自适应度量？
• RQ3 将基于优化的元学习与基于度量的基学习器结合，能否提升多源少样本学习中的泛化性能？
• RQ4 在类别不平衡和现实少样本设置下，该方法相较于现有基线模型表现如何？
• RQ5 该模型能否在无需统一类别结构的前提下，跨不同数据源（如 Omniglot 中的不同字母表）实现良好泛化？

主要发现

• 在标准的 5 类 1-shot 设置下，Meta-Metric-Learner 的性能优于包括 Meta-SGD 和匹配网络在内的基线模型。
• 在更具挑战性的 3 vs. 5 shot 分割设置下，该模型仍保持更高的准确率，展现出对类别不平衡的鲁棒性。
• 在 Omniglot 的多源设置中，该模型在 1-shot、30% 类别比例下达到 86.84% 的准确率，优于所有基线模型。
• 在类别不平衡场景下，该模型收敛更快且测试准确率高于基线模型，如训练曲线所示。
• 即使元训练集和元测试集的类别分布均不均衡，该模型仍保持优异性能，证明其灵活性。
• 无论在单源还是多源设置下，该方法均持续优于现有方法，尤其在现实少样本学习场景中表现突出。