[论文解读] ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection

Yihao Fang, Xianzhi Li+2 more|arXiv (Cornell University)|Aug 25, 2023

Topic Modeling被引用 6

一句话总结

本文提出使用ChatGPT生成合成改写语句以实现开放意图检测中的数据增强，从而提升组合泛化能力。通过三种不同的策略将这些生成的语句融入BERT微调过程，该方法在多个基准测试中显著提升了对未见意图组合的性能，某些数据集的F1-OOD得分最高提升达10.5%。

ABSTRACT

Open intent detection, a crucial aspect of natural language understanding, involves the identification of previously unseen intents in user-generated text. Despite the progress made in this field, challenges persist in handling new combinations of language components, which is essential for compositional generalization. In this paper, we present a case study exploring the use of ChatGPT as a data augmentation technique to enhance compositional generalization in open intent detection tasks. We begin by discussing the limitations of existing benchmarks in evaluating this problem, highlighting the need for constructing datasets for addressing compositional generalization in open intent detection tasks. By incorporating synthetic data generated by ChatGPT into the training process, we demonstrate that our approach can effectively improve model performance. Rigorous evaluation of multiple benchmarks reveals that our method outperforms existing techniques and significantly enhances open intent detection capabilities. Our findings underscore the potential of large language models like ChatGPT for data augmentation in natural language understanding tasks.

研究动机与目标

• 为解决开放意图检测中组合泛化问题，即模型需识别语言成分的未见组合。
• 识别现有基准在评估开放意图检测任务中组合泛化能力时的局限性。
• 开发并评估一种基于ChatGPT的文本数据增强框架，以提升模型对分布外意图组合的鲁棒性。
• 系统比较GPT生成数据在基于BERT的训练流程中不同集成策略的影响。

提出的方法

• 使用基于Rouge的相似度聚类方法，从现有开放意图检测基准中构建具有组合多样性的子集，以识别并剔除冗余样本。
• 利用ChatGPT对训练语句生成改写语句，创建在保持意图不变的同时改变表面形式的合成数据。
• 通过三种不同策略将生成的改写语句融入BERT微调过程：早期融合、晚期融合和迭代微调。
• 应用DA-ADB框架进行开集分类，结合自适应决策边界与增强后的训练数据，以提升分布外样本的检测能力。
• 采用基于验证准确率的早停策略进行迭代训练，以优化模型收敛。
• 在多个基准（Banking_CG、OOS_CG、StackOverflow_CG）上评估性能，分别使用F1-macro分数衡量分布内和分布外意图的识别效果。

(a) Dataset construction

实验结果

研究问题

• RQ1 由ChatGPT生成的合成数据能否提升开放意图检测模型的组合泛化能力？
• RQ2 GPT生成数据的不同集成策略如何影响模型在未见意图组合上的性能表现？
• RQ3 使用类似ChatGPT的大语言模型进行数据增强，是否能在多个开放意图检测基准上带来F1-OOD和准确率的可测量提升？
• RQ4 与现有最先进方法相比，所提出方法在应对分布外样本时的鲁棒性如何？

主要发现

• 在StackOverflow_CG基准上，当训练数据比例为75%时，所提方法在F1-OOD得分上实现了10.5%的绝对提升，达到80.47%，相较基线的69.96%有显著改善。
• 在OOS_CG基准上，该方法在25%数据比例时达到92.80%的峰值F1-OOD，远超基线的73.64%。
• 表现最佳的策略——结合早停的迭代微调，持续在所有基准和数据比例下提升F1-All与准确率。
• 该方法展现出强大的泛化能力，当使用原始训练数据的50%时，某些数据集的F1-OOD得分最高提升达12.5个百分点。
• 使用组合多样性的子集显著提升了模型鲁棒性，即使在低数据比例下也表现出一致的性能增益。
• 结果证实，大语言模型生成的数据增强是一种可行且有效的策略，可显著提升开放世界NLU任务中的组合泛化能力。

(b) ChatGPT data augmentation