[论文解读] Few-shot Learning with Meta Metric Learners

Yu Cheng, Mo Yu+2 more|arXiv (Cornell University)|Jan 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用 19

一句话总结

该论文提出了一种用于少样本学习的元度量学习器，结合基于LSTM的元学习器与任务特定的度量分类器，以处理类别不平衡及任务间标签数量多样的问题。通过元学习优化参数来学习任务特定的度量，该模型在标准的'k-shot N-way'设置和具有灵活标签数量的真实多领域少样本设置中均优于先前方法。

ABSTRACT

Few-shot Learning aims to learn classifiers for new classes with only a few training examples per class. Existing meta-learning or metric-learning based few-shot learning approaches are limited in handling diverse domains with various number of labels. The meta-learning approaches train a meta learner to predict weights of homogeneous-structured task-specific networks, requiring a uniform number of classes across tasks. The metric-learning approaches learn one task-invariant metric for all the tasks, and they fail if the tasks diverge. We propose to deal with these limitations with meta metric learning. Our meta metric learning approach consists of task-specific learners, that exploit metric learning to handle flexible labels, and a meta learner, that discovers good parameters and gradient decent to specify the metrics in task-specific learners. Thus the proposed model is able to handle unbalanced classes as well as to generate task-specific metrics. We test our approach in the `$k$-shot $N$-way' few-shot learning setting used in previous work and new realistic few-shot setting with diverse multi-domain tasks and flexible label numbers. Experiments show that our approach attains superior performances in both settings.

研究动机与目标

• 解决现有少样本学习方法在任务间假设统一的'N-way'类别数量的局限性。
• 克服度量学习方法中任务不变度量在任务间领域或标签结构差异时的僵化性。
• 使元学习能够泛化至具有不同标签数量的异构任务特定网络。
• 在具有可变标签数量和不平衡类别分布的真实多领域设置中，提升少样本学习性能。
• 展示元学习优化参数在匹配网络中引导梯度下降的有效性。

提出的方法

• 使用基于LSTM的元学习器预测任务特定度量学习器的参数和优化动态。
• 采用匹配网络作为基础学习器，其度量由元学习器的预测参数化。
• 在具有不同类别数量和标签分布的任务分布上训练元学习器。
• 允许元学习器引导基础学习器中的梯度下降，实现任务特定度量的自适应。
• 采用两阶段训练流程：元学习器从多样化任务中学习，随后基础学习器使用元预测参数进行每项任务的适应。
• 集成FCE（特征条件嵌入）以增强基础分类器中的表示学习。

实验结果

研究问题

• RQ1 当任务具有不同数量的标签时，元学习器能否有效引导任务特定的度量学习？
• RQ2 与任务不变度量相比，学习任务特定度量是否能提升少样本泛化性能？
• RQ3 在具有多领域、不平衡任务的真实少样本设置中，该方法表现如何？
• RQ4 元学习优化参数是否能提升在数据有限情况下的少样本学习性能？
• RQ5 该模型在标准和真实少样本基准测试中，与现有元学习和度量学习基线相比表现如何？

主要发现

• 在多领域少样本基准的FCE设置中，元度量学习器达到了60.82%的准确率，优于先前方法。
• 在单任务SCS设置中，3 vs. 5类划分下，模型在4-shot时达到59.02%准确率，显著优于元学习LSTM和匹配网络基线。
• 在Omniglot数据集上，元度量学习器在4-shot时达到98.47%准确率（使用FCE），较次佳方法高出1%以上。
• 该模型在不平衡设置中表现出鲁棒性，在其他模型失败或表现不佳的3 vs. 5类挑战性划分中实现了性能提升。
• FCE的使用提升了SCS上的性能，但在Omniglot上效果较小，表明其收益具有领域依赖性。
• 该模型在标准'k-shot N-way'和真实多领域少样本学习设置中均达到了最先进性能。