[论文解读] Improving Short Text Classification With Augmented Data Using GPT-3

Salvador Balkus, Donghui Yan|arXiv (Cornell University)|May 23, 2022

Topic Modeling被引用 6

一句话总结

本研究提出使用 GPT-3 生成合成训练样本，以提升小样本数据集上的短文本分类性能。通过使用 GPT-3 生成的样本扩充小规模标注数据集，GPT-3 分类端的准确率提升了 31%（从 0.58 提升至 0.76），优于基线方法以及使用 Completion 端点进行优化的 few-shot 提示方法。

ABSTRACT

GPT-3 is a large-scale natural language model developed by OpenAI that can perform many different tasks, including topic classification. Although researchers claim that it requires only a small number of in-context examples to learn a task, in practice GPT-3 requires these training examples to be either of exceptional quality or a higher quantity than easily created by hand. To address this issue, this study teaches GPT-3 to classify whether a question is related to data science by augmenting a small training set with additional examples generated by GPT-3 itself. This study compares two classifiers: the GPT-3 Classification Endpoint with augmented examples, and the GPT-3 Completion Endpoint with an optimal training set chosen using a genetic algorithm. We find that while the augmented Completion Endpoint achieves upwards of 80 percent validation accuracy, using the augmented Classification Endpoint yields more consistent accuracy on unseen examples. In this way, giving large-scale machine learning models like GPT-3 the ability to propose their own additional training examples can result in improved classification performance.

研究动机与目标

• 为解决短文本分类中受限标注数据的问题，特别是数据科学问题等利基领域中的挑战。
• 评估 GPT-3 是否能通过生成合成训练样本实现自我增强，从而提升自身性能。
• 比较两种数据增强策略：为分类端生成更多样本，以及为 Completion 端点优化样本选择。
• 评估基于 GPT-3 的分类器在未见的真实世界短文本数据上的鲁棒性与泛化能力。
• 确定当缺乏高质量或大规模数据集时，自生成数据是否能有效提升模型性能。

提出的方法

• 使用 GPT-3 Completion 端点，通过包含 few-shot 示例-标签对的提示进行短文本分类，并利用遗传算法优化输入样本。
• 利用 GPT-3 的文本生成能力，生成 1,000 个合成训练样本，以扩充原始小规模数据集用于分类端。
• 采用遗传算法迭代选择最有效的训练样本子集用于 Completion 端点，以提升 few-shot 泛化能力。
• 在相同测试集上训练并评估两个模型：一个使用增强后的分类端，另一个使用优化后的 Completion 端。
• 通过在马萨诸塞大学达特茅斯分校大数据俱乐部学生问题的真实世界数据集上的验证和测试准确率来评估性能。
• 使用人工标注的标签定义问题的真实主题（如“数据”、“其他”），以评估模型预测结果。

实验结果

研究问题

• RQ1 GPT-3 能否生成高质量的合成训练样本，从而提升小规模短文本数据集上的分类性能？
• RQ2 通过 GPT-3 生成的样本进行数据增强，是否能带来比使用优化样本的 few-shot 提示更一致的未见测试数据表现？
• RQ3 在使用增强训练数据时，GPT-3 分类端的性能与 Completion 端相比如何？
• RQ4 数据质量与标注主观性对短文本分类任务中模型泛化能力有何影响？
• RQ5 基于遗传算法的样本选择能否提升 Completion 端点的 few-shot 学习性能，还是会导致在验证数据上的过拟合？

主要发现

• 将 1,000 个 GPT-3 生成的样本加入训练集后，GPT-3 分类端的准确率从基线的 0.58 提升至 0.76，相对提升 31%。
• 使用遗传算法优化样本的 Completion 端点在验证集上达到 85% 的准确率，但在测试集上仅为 67%，表明对验证集存在过拟合。
• 使用增强数据的分类端在未见测试样本上表现出更一致的性能，优于使用优化样本的 Completion 端。
• GPT-3 在处理标签模糊或主观的问题时表现最差，例如关于俱乐部会议或界面自定义的问题，常被错误分类。
• 研究发现，当使用 GPT-3 的分类专用端点时，自生成数据增强比样本优化更有效于 few-shot 学习。
• 结果表明，将 GPT-3 与数据增强结合，即使在小规模真实世界数据集上，也能实现 NLP 模型的实际部署，尤其在使用分类端时。