[论文解读] FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding

Yanan Zheng, Jing Zhou+8 more|arXiv (Cornell University)|Sep 27, 2021

Topic Modeling被引用 7

一句话总结

本文提出了FewNLU，一个用于少样本自然语言理解的标准化评估框架，通过多分割数据划分策略提升评估的可靠性。在该框架下重新评估最先进方法后发现，先前的性能估计存在偏差，不同方法的增益具有互补性，且无单一方法在所有任务上占优——而联合模型的性能已接近完全监督基线。

ABSTRACT

The few-shot natural language understanding (NLU) task has attracted much recent attention. However, prior methods have been evaluated under a disparate set of protocols, which hinders fair comparison and measuring progress of the field. To address this issue, we introduce an evaluation framework that improves previous evaluation procedures in three key aspects, i.e., test performance, dev-test correlation, and stability. Under this new evaluation framework, we re-evaluate several state-of-the-art few-shot methods for NLU tasks. Our framework reveals new insights: (1) both the absolute performance and relative gap of the methods were not accurately estimated in prior literature; (2) no single method dominates most tasks with consistent performance; (3) improvements of some methods diminish with a larger pretrained model; and (4) gains from different methods are often complementary and the best combined model performs close to a strong fully-supervised baseline. We open-source our toolkit, FewNLU, that implements our evaluation framework along with a number of state-of-the-art methods.

研究动机与目标

• 为解决少样本自然语言理解领域缺乏标准化评估协议的问题，该问题阻碍了公平比较与进展度量。
• 通过解决三个关键问题——测试性能、开发集与测试集的相关性、以及超参数设置下的稳定性——来提升评估的可靠性。
• 在统一且更严格的评估框架下重新评估最先进少样本NLU方法，以揭示此前被掩盖的深层洞察。
• 证明不同少样本方法的性能增益具有显著互补性，且其组合可逼近完全监督基线的性能。
• 发布FewNLU，一个开源工具包，实现评估框架、最先进方法，以及标准化的训练与评估流程。

提出的方法

• 提出多分割策略（Multi-Splits），从标注数据中重复采样多个训练/开发集划分，并聚合结果以提升鲁棒性与可靠性。
• 设计一个包含三个理想特性的评估框架：提升测试性能、提高开发集与测试集的相关性、以及在不同超参数设置下的稳定性。
• 通过在多个随机划分上重复进行超参数选择，减少对单一划分的过拟合，避免性能高估。
• 采用标准化的训练与评估流水线，支持多种少样本方法，包括CLS、PET、ADAPET、P-tuning和FlipDA。
• 集成正则化技术（如MLM损失）与训练范式（如iPET和Noisy Student），以探索性能提升空间。
• 在新框架下重新发布基准结果，以确保方法间可复现性与公平比较。

实验结果

研究问题

• RQ1 所提出的多分割策略在测试性能、开发-测试相关性与稳定性方面，相较于现有数据划分策略表现如何？
• RQ2 由于评估协议存在缺陷，先前的少样本NLU性能估计在多大程度上存在系统性偏差？
• RQ3 不同少样本方法的性能增益是否具有互补性？其组合能否逼近完全监督性能？
• RQ4 是否存在一种少样本方法在各类NLU任务中始终优于其他方法？
• RQ5 模型规模如何影响ADAPET等少样本方法的相对性能？

主要发现

• 与基线划分策略相比，多分割策略在测试性能、开发-测试相关性与稳定性方面均有显著提升，确立了更可靠的评估协议。
• 先前文献因评估流程不可靠，系统性地高估了少样本方法的绝对性能与相对增益，凸显了标准化基准的必要性。
• 不同少样本方法的性能增益具有高度互补性，其组合模型与强基线RoBERTa（完全监督）的平均性能差距仅为2.89分。
• 无单一少样本方法在所有任务上占优；性能在不同任务间差异显著，表明亟需更鲁棒且一致的方法。
• 某些方法（如ADAPET）在更大规模预训练模型（如DeBERTa）上的优势减弱，表明缩放效应并非单调。
• 表现最佳的联合模型超越了任一单一方法，且接近完全监督性能，证明了基于集成的少样本学习具有巨大潜力。