[论文解读] Ask2Transformers: Zero-Shot Domain labelling with Pre-trained Language Models

Oscar Sainz, Germán Rigau|arXiv (Cornell University)|Jan 7, 2021

Natural Language Processing Techniques被引用 11

一句话总结

该论文提出 Ask2Transformers，一种零样本领域标注系统，利用预训练语言模型在无需微调的情况下为 WordNet 同义词集分配领域标签。通过将自然语言提示（如“该句子的领域是关于 [领域]”）进行形式化，该方法利用现成的模型（如 RoBERTa 和 BERT）在 BabelDomains 数据集上实现了新的 SOTA F1 得分 92.14%。

ABSTRACT

In this paper we present a system that exploits different pre-trained Language Models for assigning domain labels to WordNet synsets without any kind of supervision. Furthermore, the system is not restricted to use a particular set of domain labels. We exploit the knowledge encoded within different off-the-shelf pre-trained Language Models and task formulations to infer the domain label of a particular WordNet definition. The proposed zero-shot system achieves a new state-of-the-art on the English dataset used in the evaluation.

研究动机与目标

• 在无需任何任务特定微调的情况下，利用预训练语言模型实现对 WordNet 同义词集的零样本领域标注。
• 探索大规模预训练模型中编码的领域知识在词汇资源增强中的可迁移性。
• 开发一种灵活的系统，支持任意领域标签集合，不受预定义类别的限制。
• 在 BabelDomains 数据集上评估该方法，并与现有的分布式方法和基于图的方法进行比较。
• 探究该方法在跨语言领域标注中的潜力，以及其在未来词义消歧任务中的应用前景。

提出的方法

• 将自然语言提示形式化，其中输入为 WordNet 定义，假设为“该句子的领域是关于 [领域标签]”。
• 使用在自然语言蕴含任务（NLI）上微调过的现成预训练语言模型（如 RoBERTa、BERT）来分类定义与领域假设之间的蕴含关系。
• 将模型输出中置信度最高的领域标签作为预测标签。
• 通过引入描述性词汇（如“a”、“the”、“a type of”）扩展方法，以提升模型的泛化能力和鲁棒性。
• 应用基于阈值的过滤（如置信度 > 0.05）以减少低置信度预测。
• 将掩码语言建模（MLM）作为替代方法，直接从定义中预测与领域相关的关键词。

实验结果

研究问题

• RQ1 预训练语言模型是否能在无需任何微调的情况下，对 WordNet 释义实现零样本领域标注？
• RQ2 所提出的基于提示的方法在 BabelDomains 数据集上的性能与现有分布式方法和基于图的方法相比如何？
• RQ3 该方法在无需重新训练的情况下，对任意领域标签集合的泛化能力如何？
• RQ4 不同预训练模型和提示策略对领域标注的准确性和鲁棒性有何影响？
• RQ5 模型能否区分语义上相近但不同的领域（例如，“Biology” 与 “Food and drink”）？

主要发现

• Ask2Transformers（A2T）系统在 BabelDomains 数据集上实现了 92.14% 的微平均 F1 得分，创下新的 SOTA 记录。
• 表现最佳的变体 A2T + descriptors 相较于之前 SOTA 方法（BabelDomains）将 F1 提升了 10.52 个百分点。
• 在使用描述符时，系统保持了高精确率和高召回率（均为 92.14%），表明在所有类别上均表现出均衡性能。
• 该方法显著优于分布式方法（F1: 69.9%）和 BabelDomains 方法（F1: 74.6%）。
• 错误分析显示，混淆主要发生在语义相关的领域之间（如“Animals” 与 “Biology” 或 “Food and drink”），这由于词汇重叠而可预期。
• 定性分析表明，掩码语言建模的预测常能生成与领域相关的关键词（如“phase space” 对应“physics”），表明模型能捕捉细微的领域线索。