[论文解读] Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification

Han Wang, Canwen Xu+1 more|arXiv (Cornell University)|Apr 13, 2022

Topic Modeling被引用 6

一句话总结

本文提出自动多标签提示（AMuLaP），一种无需参数、基于统计的方法，通过利用一对一多标签映射，自动为少样本文本分类选择多个标签词。AMuLaP 在 GLUE 基准上实现了具有竞争力的性能，无需人工标注或访问模型权重，即使每类仅有一个或两个训练样本，其表现也优于标准微调。

ABSTRACT

Prompt-based learning (i.e., prompting) is an emerging paradigm for exploiting knowledge learned by a pretrained language model. In this paper, we propose Automatic Multi-Label Prompting (AMuLaP), a simple yet effective method to automatically select label mappings for few-shot text classification with prompting. Our method exploits one-to-many label mappings and a statistics-based algorithm to select label mappings given a prompt template. Our experiments demonstrate that AMuLaP achieves competitive performance on the GLUE benchmark without human effort or external resources.

研究动机与目标

• 通过自动化标签词选择，消除少样本提示中的手动标签工程。
• 通过一对一多标签映射减少噪声并扩展有效监督，提升少样本分类性能。
• 开发一种无需访问模型权重或外部预训练的方法，使其适用于 GPT-3 等黑箱语言模型。
• 在多样化的少样本设置和模型配置下，评估多标签选择的有效性。
• 分析自动提示学习中标签集大小、质量与性能之间的权衡。

提出的方法

• AMuLaP 使用基于统计的算法，识别与少样本训练集中输入标记分布最匹配的标签词。
• 它利用一对一多标签映射，即每个类别关联多个候选标签词，以抑制噪声并提升泛化能力。
• 该方法不依赖模型微调或梯度更新，仅依赖少样本示例中的统计共现模式。
• 它在提示模板固定后应用，专注于为该模板优化标签词选择。
• 该算法通过测量标签词与少样本示例中输入标记的统计相关性，使用简单而有效的评分机制选择标签词。
• AMuLaP 不需要访问主干模型的权重，因此可应用于 GPT-3 等黑箱语言模型。

实验结果

研究问题

• RQ1 纯粹基于统计、无参数的方法能否在无需人工干预的情况下自动选择有效的少样本提示标签词？
• RQ2 与单标签映射相比，每个类别使用多个标签词如何影响少样本分类性能？
• RQ3 当每类仅有一个或两个样本时，AMuLaP 的自动标签选择是否优于标准微调？
• RQ4 标签集大小（k）对性能有何影响？AMuLaP 是否存在最优的 k？
• RQ5 AMuLaP 与需要访问模型权重或外部微调的提示方法相比表现如何？

主要发现

• AMuLaP 在 GLUE 基准上实现了具有竞争力的性能，无需人工标注或访问模型权重。
• 仅每类一个或两个样本时，AMuLaP 显著优于标准微调（后者接近随机基线）。
• AMuLaP 搭配微调时，随着训练集规模增大持续提升性能，在 MNLI 上优于标准微调，并在 MRPC 上保持强劲表现。
• 该方法对噪声标签候选（如 </s> 标记）具有鲁棒性，因为多标签机制可缓解单个错误。
• 增加标签词数量（k）可提升随机映射下的性能，表明标签集大小可增强监督；但 AMuLaP 的性能在某一 k 值后趋于平稳，因标签质量下降所致。
• AMuLaP 在无微调时性能迅速饱和，表明基于上下文学习的自动标注受限于上下文长度，无法通过增加样本数进一步扩展。