[论文解读] Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

Shengding Hu, Ning Ding+6 more|arXiv (Cornell University)|Aug 4, 2021

Topic Modeling被引用 70

一句话总结

本文提出 Knowledgeable Prompt-tuning (KPT)，通过使用外部知识库扩展并细化 verbalizers，以改进基于提示的文本分类，尤其在零样本和少样本设置中。KPT 通过利用多样的标签词和 refinement 技术，展示出更低的错误率和更稳定的预测。

ABSTRACT

Tuning pre-trained language models (PLMs) with task-specific prompts has been a promising approach for text classification. Particularly, previous studies suggest that prompt-tuning has remarkable superiority in the low-data scenario over the generic fine-tuning methods with extra classifiers. The core idea of prompt-tuning is to insert text pieces, i.e., template, to the input and transform a classification problem into a masked language modeling problem, where a crucial step is to construct a projection, i.e., verbalizer, between a label space and a label word space. A verbalizer is usually handcrafted or searched by gradient descent, which may lack coverage and bring considerable bias and high variances to the results. In this work, we focus on incorporating external knowledge into the verbalizer, forming a knowledgeable prompt-tuning (KPT), to improve and stabilize prompt-tuning. Specifically, we expand the label word space of the verbalizer using external knowledge bases (KBs) and refine the expanded label word space with the PLM itself before predicting with the expanded label word space. Extensive experiments on zero and few-shot text classification tasks demonstrate the effectiveness of knowledgeable prompt-tuning.

研究动机与目标

• 通过解决 manual/verbalizers 的覆盖有限性和偏差来推动提示微调的改进。
• 利用外部知识库扩展每个类别的标签词集合。
• 开发用于过滤扩展后的 verbalizers 噪声的细化机制。
• 在多数据集的零样本和少样本文本分类中评估 KPT。

提出的方法

• 用提示模板包装输入，将分类转换为掩码语言模型（Masked Language Modeling）。
• 通过从外部知识库扩展每个类别的相关标签词来构建一个有知识的 verbalizer。
• 通过频率、相关性、情境化校准以及可学习的细化来完善扩展后的 verbalizers。
• 通过平均或加权平均评分来使用经细化的 verbalizers，将标签词分数映射到类别概率。

实验结果

研究问题

• RQ1 外部知识库能否拓展文本分类中 verbalizers 的覆盖范围？
• RQ2 细化步骤是否在零样本和少样本设定中降低噪声、提升稳定性？
• RQ3 KPT 的变体在跨数据集的表现上相对于标准 PT 及其他基线取得了哪些提升？
• RQ4 在零样本场景中，情境化校准如何与知识扩展的 verbalizers 相互作用？

主要发现

• KPT 变体在零样本和少样本设置中优于标准提示微调和简单 verbalizers。
• 情境化校准（CC）在零样本中尤为显著，较 PT 基线有较大平均提升。
• 细化方法（频率、相关性、共享类别校准，以及可学习的细化）降低标签噪声并提升性能，特别是在主题分类任务上。
• KPT 降低预测方差，在不同样本量下实现更稳定的性能。
• 在零样本中，KPT 实现错误率下降，并展示出多样化、多粒度的标签词，超越类名。