[论文解读] Empowering Large Language Models for Textual Data Augmentation

Yichuan Li, Kaize Ding+2 more|arXiv (Cornell University)|Apr 26, 2024

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出 Self-LLMDA，一种自动为大型语言模型（LLMs）生成并选择特定任务增强指令的框架，实现高质量的文本数据增强。通过利用 LLM 生成多样化的指令，并采用评分模型筛选最有效的指令，该方法在 26 个少样本学习任务中均达到当前最优性能，显著优于非 LLM 及现有基于 LLM 的增强方法。

ABSTRACT

With the capabilities of understanding and executing natural language instructions, Large language models (LLMs) can potentially act as a powerful tool for textual data augmentation. However, the quality of augmented data depends heavily on the augmentation instructions provided, and the effectiveness can fluctuate across different downstream tasks. While manually crafting and selecting instructions can offer some improvement, this approach faces scalability and consistency issues in practice due to the diversity of downstream tasks. In this work, we address these limitations by proposing a new solution, which can automatically generate a large pool of augmentation instructions and select the most suitable task-informed instructions, thereby empowering LLMs to create high-quality augmented data for different downstream tasks. Empirically, the proposed approach consistently generates augmented data with better quality compared to non-LLM and LLM-based data augmentation methods, leading to the best performance on 26 few-shot learning tasks sourced from a wide range of application domains.

研究动机与目标

• 解决基于 LLM 的数据增强中手动、与任务无关的增强指令所存在的局限性，这些指令在下游任务中普遍存在不一致性和泛化能力差的问题。
• 利用 LLM 自动创建多样化且高质量的增强指令池，减少对专家手工设计提示的依赖。
• 开发一种评分模型，用于选择针对特定下游任务的、任务相关的指令，从而提升数据增强的质量与模型性能。
• 建立一个可扩展、可泛化的基于 LLM 的数据增强框架，同时保持高流畅性、多样性与语义一致性。
• 在广泛的 NLP 任务上验证该框架，证明其相对于现有方法的一致优越性。

提出的方法

• 使用大型语言模型从种子策略自动生成大量多样化的增强指令，将指令空间扩展至超越人工设计的范围。
• 应用检索增强提示策略，生成在句法、语义和结构上均多样的有效指令，确保覆盖各种变化形式。
• 训练一个评分模型，基于小规模模型微调的性能预测结果，对生成的指令进行有效性排序。
• 为每个任务选择得分最高的 k 个指令，以指导 LLM 生成最终的增强数据，确保任务相关性。
• 采用两阶段流程：首先生成指令，然后通过性能感知评分进行指令筛选，以在多样性与精确性之间取得平衡。
• 使用自动评估指标与下游任务性能，验证生成数据的质量及指令筛选过程的有效性。

实验结果

研究问题

• RQ1 利用 LLM 进行自动指令生成，是否能产生比人工设计指令更广泛、更多样化的增强策略？
• RQ2 通过性能感知评分模型选择任务相关的增强指令，是否能生成比任务无关或非 LLM 方法更高质量的增强数据？
• RQ3 所提出的 Self-LLMDA 框架在多样化的下游 NLP 任务中，于少样本学习设置下的表现如何？
• RQ4 该框架在未见过的增强指令与目标模型上，其泛化能力达到何种程度？
• RQ5 指令质量与具体程度对数据增强训练中下游模型准确率有何影响？

主要发现

• Self-LLMDA 在 26 个多样化的少样本学习任务中持续优于非 LLM 及现有基于 LLM 的数据增强方法，在所有评估基准上均取得最佳性能。
• 与手动提示或基于启发式的方法相比，该框架通过生成更高品质、更多样化且语义一致的增强数据，显著提升了下游模型的准确率。
• 评分模型有效识别出能提升模型泛化能力的任务相关指令，降低了不同领域和任务间性能的方差。
• 该方法在未见过的增强指令与目标模型上表现出良好的泛化能力，表明其具备强鲁棒性与广泛适用性。
• 通过 LLM 实现的自动指令生成，相比人工设计的替代方案，产生了显著更大且更丰富的策略池，从而增强了数据增强的多样性。
• 实证结果证实，任务相关的指令选择至关重要：随机或通用指令会导致数据质量下降，进而降低模型性能。