[论文解读] Knowledge Guided Metric Learning for Few-Shot Text Classification

Dianbo Sui, Yubo Chen+4 more|arXiv (Cornell University)|Apr 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 17被引用 4

一句话总结

该论文提出了一种知识引导的度量学习框架，用于少样本文本分类，通过利用知识库中的外部知识来生成特定任务的关系网络参数。通过使用一种新颖的参数生成网络，使度量能够适应多种任务，该模型在ARSC数据集上实现了87.93%的准确率，达到当前最先进水平，优于包括P-MAML在内的现有方法。

ABSTRACT

The training of deep-learning-based text classification models relies heavily on a huge amount of annotation data, which is difficult to obtain. When the labeled data is scarce, models tend to struggle to achieve satisfactory performance. However, human beings can distinguish new categories very efficiently with few examples. This is mainly due to the fact that human beings can leverage knowledge obtained from relevant tasks. Inspired by human intelligence, we propose to introduce external knowledge into few-shot learning to imitate human knowledge. A novel parameter generator network is investigated to this end, which is able to use the external knowledge to generate relation network parameters. Metrics can be transferred among tasks when equipped with these generated parameters, so that similar tasks use similar metrics while different tasks use different metrics. Through experiments, we demonstrate that our method outperforms the state-of-the-art few-shot text classification models.

研究动机与目标

• 为解决因标注数据有限和任务多样性导致的少样本文本分类性能低下问题。
• 通过将外部知识融入度量学习，模仿人类的少样本学习方式。
• 开发一种参数生成网络，利用知识库嵌入生成特定任务的关系网络参数。
• 为多样化任务提供多样化度量，确保相似任务使用相似度量，而不同任务使用不同度量。
• 在推理过程中无需反向传播，实现少样本文本分类的最先进性能。

提出的方法

• 使用BERT将输入句子编码为稠密向量表示。
• 利用知识库嵌入（通过BILINEAR模型从NELL获取）表示外部知识。
• 设计一种参数生成网络，接收特定任务的知识库嵌入，并生成关系网络的参数。
• 将生成的参数应用于关系网络，为每个任务定制度量函数。
• 采用基于元学习的episode训练方式，模拟少样本场景下的训练过程。
• 使用平均池化后的句子嵌入作为类别原型，并通过特定任务的度量计算相似度。

实验结果

研究问题

• RQ1 来自知识库的外部知识能否提升少样本文本分类的性能？
• RQ2 如何动态生成特定任务的度量以适应多样化的少样本任务？
• RQ3 与固定或共享度量相比，知识引导的参数生成是否能带来更好的泛化能力？
• RQ4 该模型能否在少样本文本分类任务中超越现有最先进方法？
• RQ5 性能提升是源于知识融合，还是仅仅因为模型容量增加？

主要发现

• 所提模型在ARSC数据集上实现了87.93%的平均准确率，超过此前SOTA方法P-MAML（86.65%）。
• 消融实验表明，若移除与任务相关的度量网络，性能下降至86.09%，证实了所提组件的重要性。
• 替换实验（增加模型参数但使用与任务无关的网络）仅获得86.40%的准确率，表明性能提升源于知识融合，而非参数数量。
• 该模型在基准测试中优于基于度量的模型（如Relation Network、Prototypical Network）和基于优化的方法（如MAML）。
• 该方法在推理过程中无需反向传播，因此比基于梯度的元学习方法更高效。
• 结果表明，知识引导的度量学习通过学习特定任务的度量，实现了对多样化少样本任务的更好适应。