[论文解读] MCML: A Novel Memory-based Contrastive Meta-Learning Method for Few Shot Slot Tagging

Hongru Wang, Zezhong Wang+2 more|arXiv (Cornell University)|Aug 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用 7

一句话总结

该论文提出MCML，一种基于记忆的对比元学习方法，用于少样本槽位标注，通过使用基于历史标签表示的对比学习的从记忆中学习模块，以及将测试时表示与记忆锚定标签对齐的从记忆中适应模块，缓解了样本遗忘问题。MCML在SNIPS和NER数据集上达到最先进性能，且随着样本数增加，性能持续提升。

ABSTRACT

Meta-learning is widely used for few-shot slot tagging in task of few-shot learning. The performance of existing methods is, however, seriously affected by extit{sample forgetting issue}, where the model forgets the historically learned meta-training tasks while solely relying on support sets when adapting to new tasks. To overcome this predicament, we propose the extbf{M}emory-based extbf{C}ontrastive extbf{M}eta- extbf{L}earning (aka, MCML) method, including extit{learn-from-the-memory} and extit{adaption-from-the-memory} modules, which bridge the distribution gap between training episodes and between training and testing respectively. Specifically, the former uses an explicit memory bank to keep track of the label representations of previously trained episodes, with a contrastive constraint between the label representations in the current episode with the historical ones stored in the memory. In addition, the \emph{adaption-from-memory} mechanism is introduced to learn more accurate and robust representations based on the shift between the same labels embedded in the testing episodes and memory. Experimental results show that the MCML outperforms several state-of-the-art methods on both SNIPS and NER datasets and demonstrates strong scalability with consistent improvement when the number of shots gets greater.

研究动机与目标

• 为解决度量基准元学习在少样本槽位标注中出现的样本遗忘问题，即模型在不同episode间无法保持一致的标签表示。
• 通过利用显式存储在记忆库中的历史标签表示，弥合元训练与元测试之间的分布差异。
• 通过结合从记忆中学习与从记忆中适应的机制，提升模型的鲁棒性与可扩展性。
• 提升同一标签在不同episode中的表示一致性，以及不同标签之间的区分度。
• 在少样本槽位标注基准上实现优越性能，且随着样本数增加而持续提升。

提出的方法

• 从记忆中学习模块维护一个显式记忆库，存储先前训练episode中的标签表示。
• 在当前episode的标签表示与记忆库中存储的表示之间应用对比损失，以拉近语义相似（正样本）的表示，推远不相似（负样本）的表示。
• 从记忆中适应模块使用可学习的缩放因子，将测试episode中的查询表示与记忆锚定的标签表示对齐。
• 缩放因子控制测试时输入特征与基于记忆的标签锚点之间的权衡，从而在分布偏移下实现稳健适应。
• 该方法与模型无关，可集成到现有的基于度量的元学习框架中，用于序列标注任务。
• 框架在元训练阶段通过对比学习端到端训练，在元测试阶段通过自适应特征精炼进行优化。

实验结果

研究问题

• RQ1 如何在少样本槽位标注的度量基准元学习中减少样本遗忘？
• RQ2 历史标签表示的记忆库在多大程度上能提升episode间的表示一致性？
• RQ3 从记忆中适应机制在多大程度上缓解了元训练与元测试之间的分布偏移？
• RQ4 从记忆中学习与从记忆中适应的结合能否在样本数增加时带来可扩展的性能提升？
• RQ5 性能对适应模块中缩放因子的选择有多敏感？

主要发现

• MCML在SNIPS和NER数据集上均优于最强基线方法（L-ProtoNet+CDT+VPB），在所有样本设置下F1分数均持续提升。
• 随着样本数增加，从记忆中学习模块的重要性愈发显著，表明在更多标注数据下，表示的可迁移性更强。
• 从记忆中适应模块表现出领域敏感性，尤其在标签重叠较多的领域（如'Pl'、'Se'和'Cr'）中性能提升更显著。
• t-SNE可视化结果表明，MCML减少了元训练与元测试阶段之间的表示偏移，并使相似标签表示（如B-object_type与I-object_type）在嵌入空间中更接近。
• 消融实验表明，结合两个模块可获得最佳性能，且对比约束显著减少了样本遗忘。
• 该方法展现出强可扩展性，随着样本数从1增加到20，性能提升持续存在甚至进一步增强。