[论文解读] Does Synthetic Data Make Large Language Models More Efficient?

Sia Gholami, Marwan Omar|arXiv (Cornell University)|Oct 11, 2023

Topic Modeling被引用 9

一句话总结

论文评估基于模板的合成数据（synQA）在问答生成中的应用及其对 GPT-Efficio 与 GPT-3 在语言建模与问答任务上的影响，强调适度的提升与数据混合的重要性。

ABSTRACT

Natural Language Processing (NLP) has undergone transformative changes with the advent of deep learning methodologies. One challenge persistently confronting researchers is the scarcity of high-quality, annotated datasets that drive these models. This paper explores the nuances of synthetic data generation in NLP, with a focal point on template-based question generation. By assessing its advantages, including data augmentation potential and the introduction of structured variety, we juxtapose these benefits against inherent limitations, such as the risk of overfitting and the constraints posed by pre-defined templates. Drawing from empirical evaluations, we demonstrate the impact of template-based synthetic data on the performance of modern transformer models. We conclude by emphasizing the delicate balance required between synthetic and real-world data, and the future trajectories of integrating synthetic data in model training pipelines. The findings aim to guide NLP practitioners in harnessing synthetic data's potential, ensuring optimal model performance in diverse applications.

研究动机与目标

• 研究合成数据生成，尤其是基于模板的问题生成在 NLP 模型训练中的作用。
• 评估合成数据如何增强训练以及对模型鲁棒性、偏差和性能的影响。
• 在多个任务上将较小的合成数据增强模型（GPT-Efficio）与 GPT-3 基线进行对比。
• 识别基于模板的生成的局限性，并提出与真实数据及其他方法的整合方向。

提出的方法

• 对文本进行预处理、分段，并应用 NLP 分析（NER、依存句法分析、词性标注）。
• 使用预定义模板（who、what、when、where、why、how）生成问题并提取相应答案。
• 在合成问答对上训练问答模型并使用标准基准进行评估。
• 在不同参数量下比较 GPT-Efficio（含 synQA 与不含 synQA）与 GPT-3 的性能。
• 对合成数据的超参数进行分析，特别是合成数据与真实数据之比以及模板复杂度。
• 讨论局限性并提出未来混合或自适应合成数据策略的方向。

实验结果

研究问题

• RQ1 基于模板的合成问答数据是否相对于基线在语言建模和问答表现上有所提升？
• RQ2 合成数据与真实数据的比例如何影响模型在不同任务上的精度和鲁棒性？
• RQ3 模板化合成数据在变换器模型中的权衡与局限是什么？
• RQ4 synQA 是否能在 LAMBADA、StoryCloze、HellaSwag、NQ、WebQ、TriviaQA 等任务上提供一致的收益？
• RQ5 未来哪些方向可以提升 NLP 中合成数据的有效性？

主要发现

Model	n_params	LAMBADA (acc)	LAMBADA (ppl)	StoryCloze (acc)	HellaSwag (acc)
GPT-3 Zero-Shot	175B	76.2	3.00	83.2	78.9
GPT-3 One-Shot	175B	72.5	3.35	84.7	78.1
GPT-3 Few-Shot	175B	86.4	1.92	87.7	79.3
GPT-Efficio	950M	67.1	9.2	80.5	72.6
GPT-Efficio (+ synQA)	950M	67.1	9.2	80.5	72.6

• GPT-Efficio（950M）在使用 synQA 时，在各任务上的表现与不使用 synQA 的版本相当或有适度提升。
• 在语言建模任务中，synQA 的收益取决于任务，且与具有数十亿参数的 GPT-3 相比通常较为适中。
• QA 任务中，GPT-Efficio 使用 synQA 有增量提升，但并不总是超过 175B 的 GPT-3 基线。
• 在完成任务方面，GPT-3（Few-Shot）通常优于 GPT-Efficio 的变体，凸显参数规模的差异。
• 合成数据与真实数据的比例显著影响性能，取决于任务和数据质量，存在收益与过拟合风险。
• 总体而言，合成数据可以帮助生成 QA 数据和提升模型鲁棒性，但需与真实世界数据进行小心的校准与整合。