[论文解读] Increasing Diversity While Maintaining Accuracy: Text Data Generation with Large Language Models and Human Interventions

John Joon Young Chung, Ece Kamar+1 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种人机协作框架，将大语言模型（LLMs）与针对性的人工干预相结合，以生成具有高多样性与准确性的文本数据集。通过应用logit抑制与温度采样实现多样化，利用标签替换纠正标签错位问题——实现14.4%的绝对准确率提升——基于LLM生成数据训练的模型甚至优于GPT-3少样本分类表现。

ABSTRACT

Large language models (LLMs) can be used to generate text data for training and evaluating other models. However, creating high-quality datasets with LLMs can be challenging. In this work, we explore human-AI partnerships to facilitate high diversity and accuracy in LLM-based text data generation. We first examine two approaches to diversify text generation: 1) logit suppression, which minimizes the generation of languages that have already been frequently generated, and 2) temperature sampling, which flattens the token sampling probability. We found that diversification approaches can increase data diversity but often at the cost of data accuracy (i.e., text and labels being appropriate for the target domain). To address this issue, we examined two human interventions, 1) label replacement (LR), correcting misaligned labels, and 2) out-of-scope filtering (OOSF), removing instances that are out of the user's domain of interest or to which no considered label applies. With oracle studies, we found that LR increases the absolute accuracy of models trained with diversified datasets by 14.4%. Moreover, we found that some models trained with data generated with LR interventions outperformed LLM-based few-shot classification. In contrast, OOSF was not effective in increasing model accuracy, implying the need for future work in human-in-the-loop text data generation.

研究动机与目标

• 解决使用LLM生成高质量、多样化且准确的文本数据集以用于下游分类任务的挑战。
• 探究LLM文本生成中技术性多样化方法对数据质量与下游模型性能的影响。
• 评估人工干预（特别是标签替换与非目标范围过滤）对提升LLM生成数据集准确率与多样性的效果。
• 证明经人工校正并多样化的LLM生成数据可超越少样本GPT-3分类的性能表现。
• 识别当前人在回路策略的局限性，尤其是非目标范围过滤在提升模型准确率方面的无效性。

提出的方法

• 应用logit抑制，通过在文本生成过程中抑制频繁生成的标记来减少重复。
• 采用高温采样，使标记概率分布趋于平坦，从而鼓励生成概率较低但更具多样性的序列。
• 实施标签替换（LR）作为人工干预手段，以纠正LLM生成数据中的标签错位问题。
• 应用非目标范围过滤（OOSF），移除不属于目标领域或缺乏有效标签的样本。
• 开展oracle研究，模拟人工校正过程，并利用代理模型评估其对模型性能的影响。
• 在有无人工干预的情况下，对LLM生成的数据集训练并评估下游分类模型，以衡量准确率、多样性及与原始数据集的相似性。

Figure 1: Examples of Diversification Approaches.

实验结果

研究问题

• RQ1 logit抑制与温度采样在多大程度上影响LLM生成文本数据的多样性与准确率？
• RQ2 标签替换在多大程度上提升了基于多样化LLM生成数据训练的模型准确率？
• RQ3 非目标范围过滤是否能有效提升模型准确率，还是因其移除了潜在有用的训练样本而损害性能？
• RQ4 经人工干预增强的LLM生成数据集是否能超越GPT-3少样本学习的性能表现？
• RQ5 不同组合的多样化与人工干预策略如何影响模型泛化能力及数据质量指标？

主要发现

• logit抑制与高温采样有效提升了文本多样性，但显著降低了标签准确率与与原始数据集的相似性。
• 在oracle研究中，标签替换使基于多样化LLM生成数据训练的模型绝对准确率提升了14.4%。
• 在180个标签被替换的实例下，基于LLM生成数据训练的模型性能超越了GPT-3少样本分类表现。
• 非目标范围过滤未提升模型准确率，有时还降低了多样性，表明其在缺乏精细化标准的情况下可能并非有效策略。
• 多样化与标签替换的结合使模型表现更稳定且性能更优，优于未经校正或过滤的数据。
• 非目标范围过滤对数据质量指标影响甚微，标签准确率、多样性及相似性在95%置信区间内仅发生细微或不显著变化。

Figure 2: Impact of logit suppression and high temperatures on model accuracy, label accuracy, diversity, and similarity to the oracle dataset, averaged across eight tasks. Bars without hatches start generation without examples while those with hatches start with few-shot generation. Throughout this