[论文解读] Diverse Few-Shot Text Classification with Multiple Metrics

Mo Yu, Xiaoxiao Guo+7 more|ArXiv.org|May 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用 25

一句话总结

该论文提出了一种多样化的少样本文本分类框架，通过任务聚类学习多种度量方法，以提升在异构、现实世界NLP任务上的性能。通过基于跨任务迁移性能对元训练任务进行聚类，并应用矩阵补全方法处理稀疏的任务相似性，该方法自适应地组合各聚类特定的度量方法，在情感分析和意图分类基准上实现了最先进（SOTA）的准确率。

ABSTRACT

We study few-shot learning in natural language domains. Compared to many existing works that apply either metric-based or optimization-based meta-learning to image domain with low inter-task variance, we consider a more realistic setting, where tasks are diverse. However, it imposes tremendous difficulties to existing state-of-the-art metric-based algorithms since a single metric is insufficient to capture complex task variations in natural language domain. To alleviate the problem, we propose an adaptive metric learning approach that automatically determines the best weighted combination from a set of metrics obtained from meta-training tasks for a newly seen few-shot task. Extensive quantitative evaluations on real-world sentiment analysis and dialog intent classification datasets demonstrate that the proposed method performs favorably against state-of-the-art few shot learning algorithms in terms of predictive accuracy. We make our code and data available for further study.

研究动机与目标

• 解决单度量方法在少样本文本分类中的局限性，即任务多样且非均匀相关。
• 开发一种与深度神经网络和可变标签集兼容的任务聚类方法，以实现聚类特定的度量学习。
• 通过结合针对每个目标任务与其元训练聚类相似性的度量，提升少样本泛化能力。
• 在现实企业环境中实现有效的少样本学习，其中任务在领域、标签数量和数据分布上各不相同。

提出的方法

• 利用跨任务迁移性能构建任务相似性矩阵 S，其中 S[i,j] 估计将任务 i 适应到任务 j 的准确率。
• 应用矩阵补全方法处理相似性矩阵 S 中的缺失和不可靠条目，确保对不完整数据的鲁棒性。
• 对补全后的矩阵 S 进行谱聚类，将元训练任务划分为 K 个聚类，每个聚类共享一个度量。
• 为每个聚类训练一个深度嵌入网络，以学习任务特定的度量 Λ_k，将输入样本对映射为相似性得分。
• 在推理阶段，通过学习到的权重 α_k 组合所有聚类的度量，为每个目标任务形成加权线性组合。
• 通过元学习优化组合权重，确保最终度量能有效适应目标任务的特征。

实验结果

研究问题

• RQ1 与单一共享度量相比，使用多种任务特定度量是否能提升少样本文本分类的性能？
• RQ2 当任务的类别数量不同且非均匀相关时，如何有效执行任务聚类？
• RQ3 在跨任务迁移性能上应用矩阵补全，是否能实现对多样化少样本任务的稳健且可泛化的任务聚类？
• RQ4 所提出的方法是否能在真实世界文本分类基准上超越现有的单度量或基于优化的少样本学习方法？

主要发现

• 所提出的 RobustTC-FSL 方法在 Amazon 评论数据集上使用 5 个聚类时达到 83.12% 的准确率，优于基线方法 ASAP-MT-LR（82.65%）。
• 在 SNIPS 对话意图分类数据集上，该方法达到 79.29% 的准确率，显著优于多样化少样本设置下的最先进基线方法。
• 聚类可视化显示，具有相似阈值（如 N=2,4,5 对于正面评论）和领域的任务被分组在一起，证实了聚类的有效性。
• 表现最佳的目标任务在最相关聚类上赋予了较高的权重，验证了自适应度量组合机制的有效性。
• 该方法在二分类设置中也表现出鲁棒性，而以往的任务聚类方法通常仅适用于此类场景，表明其具有更广泛的应用潜力。
• 消融实验确认，矩阵补全和任务聚类是关键组件，当二者被移除时性能显著下降。