[论文解读] CLUES: Few-Shot Learning Evaluation in Natural Language Understanding

Subhabrata Mukherjee, Xiaodong Liu+7 more|arXiv (Cornell University)|Nov 4, 2021

Natural Language Processing Techniques被引用 6

一句话总结

CLUES 引入了一个标准化基准，用于评估少样本自然语言理解（NLU）性能，将各种任务（例如，命名实体识别、机器阅读理解、分类）统一为‘跨度集合’提取任务，以实现评估的一致性。该研究揭示了在少样本设置下，人类与所有 NLU 模型之间存在显著的性能差距，尤其是在复杂任务上，凸显了提升 NLU 模型少样本泛化能力的迫切需求。

ABSTRACT

Most recent progress in natural language understanding (NLU) has been driven, in part, by benchmarks such as GLUE, SuperGLUE, SQuAD, etc. In fact, many NLU models have now matched or exceeded "human-level" performance on many tasks in these benchmarks. Most of these benchmarks, however, give models access to relatively large amounts of labeled data for training. As such, the models are provided far more data than required by humans to achieve strong performance. That has motivated a line of work that focuses on improving few-shot learning performance of NLU models. However, there is a lack of standardized evaluation benchmarks for few-shot NLU resulting in different experimental settings in different papers. To help accelerate this line of work, we introduce CLUES (Constrained Language Understanding Evaluation Standard), a benchmark for evaluating the few-shot learning capabilities of NLU models. We demonstrate that while recent models reach human performance when they have access to large amounts of labeled data, there is a huge gap in performance in the few-shot setting for most tasks. We also demonstrate differences between alternative model families and adaptation techniques in the few shot setting. Finally, we discuss several principles and choices in designing the experimental settings for evaluating the true few-shot learning performance and suggest a unified standardized approach to few-shot learning evaluation. We aim to encourage research on NLU models that can generalize to new tasks with a small number of examples. Code and data for CLUES are available at https://github.com/microsoft/CLUES.

研究动机与目标

• 解决少样本 NLU 缺乏标准化评估基准的问题，该问题阻碍了不同模型与方法之间的公平比较。
• 构建一个统一的评估框架，使在相同少样本条件下的人类与机器性能能够进行公平比较。
• 超越句子分类任务，涵盖命名实体识别、阅读理解、序列标注等多种 NLU 任务。
• 证明当前预训练语言模型（PLMs）在仅提供少量标注样本时，其表现显著低于人类水平。
• 确立可靠少样本评估的设计原则，包括考虑方差的训练划分方式，以及避免验证数据泄露。

提出的方法

• 将所有 NLU 任务统一为‘跨度集合’提取任务，通过单一指标实现对不同类型任务的统一评估。
• 为每个少样本设置（k=10, 20, 30）使用五种不同的随机划分，以衡量模型的方差与鲁棒性。
• 评估多种模型族（BERT、RoBERTa、DeBERTa、T5）及多种微调技术：全参数微调、提示调优和上下文学习（GPT-3）。
• 在训练过程中完全移除保留的验证集，以保持评估的真实少样本特性，避免因超参数调优带来的偏差。
• 在与模型相同的少样本和零样本设置下收集人类性能数据，以实现与模型性能的直接对比。
• 在设计基准时充分考虑任务的多样性与复杂性，确保人类与模型之间存在清晰的性能差距。

实验结果

研究问题

• RQ1 当前预训练语言模型（PLMs）在多样化的少样本 NLU 任务上的表现与人类相比如何？
• RQ2 模型架构、参数规模以及微调技术（如全参数微调 vs. 提示调优）对少样本 NLU 性能有何影响？
• RQ3 模型方差在多大程度上影响少样本性能？如何可靠地测量这种方差？
• RQ4 在少样本设置下，引入复杂任务（如 MRC、NER）如何影响人类与模型之间的性能差距？
• RQ5 构建一个标准化、公平且可靠的少样本 NLU 评估基准，其关键设计原则是什么？

主要发现

• 人类仅凭少量标注样本（例如，10 个样本）即可实现高性能（例如，在 CoNLL03 NER 上 F1 达 87.7），展现出强大的少样本泛化能力。
• 所有评估的 PLMs（如 BERT Base、RoBERTa Large）在少样本设置下的 NER 和 MRC 任务中表现欠佳——例如，BERT Base 在 CoNLL03 上仅取得 51.3 的 F1（10 个样本），远低于人类水平。
• 在复杂任务（如 NER 和 MRC）上，人类与模型之间的性能差距最为显著，模型表现接近随机猜测（例如，在 ReCoRD 上 10 个样本时 F1 仅为 10.3）。
• 在少样本微调中，模型方差较高，尤其是大模型，其性能在不同随机种子和样本划分之间波动显著。
• 在训练中使用验证集可使少样本模型性能提升约 7%（例如，在 SST-2 上从 76.3 提升至 83.0 F1），凸显了评估中数据泄露的风险。
• 提示调优的方差低于全参数微调，表明其在少样本适应中可能更具稳定性，但仍远未达到人类水平。