[논문 리뷰] ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection

Yihao Fang, Xianzhi Li외 2명|arXiv (Cornell University)|2023. 08. 25.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 열린 의도 검출에서 구성적 일반화를 향상시키기 위해 ChatGPT를 사용하여 합성 복어문을 생성하고 데이터 증강에 활용하는 방법을 제안한다. BERT 미세조정에 세 가지 다른 전략을 통해 이러한 생성된 발화문을 통합함으로써, 다양한 벤치마크에서 예측 불가능한 의도 조합에 대해 성능이 크게 향상되었으며, 일부 데이터셋에서는 F1-OOD 점수에서 최대 10.5% 향상된 결과를 보였다.

ABSTRACT

Open intent detection, a crucial aspect of natural language understanding, involves the identification of previously unseen intents in user-generated text. Despite the progress made in this field, challenges persist in handling new combinations of language components, which is essential for compositional generalization. In this paper, we present a case study exploring the use of ChatGPT as a data augmentation technique to enhance compositional generalization in open intent detection tasks. We begin by discussing the limitations of existing benchmarks in evaluating this problem, highlighting the need for constructing datasets for addressing compositional generalization in open intent detection tasks. By incorporating synthetic data generated by ChatGPT into the training process, we demonstrate that our approach can effectively improve model performance. Rigorous evaluation of multiple benchmarks reveals that our method outperforms existing techniques and significantly enhances open intent detection capabilities. Our findings underscore the potential of large language models like ChatGPT for data augmentation in natural language understanding tasks.

연구 동기 및 목표

• 모델이 언어 구성 요소의 새로운 조합을 인식해야 하는 열린 의도 검출에서의 구성적 일반화 과제를 해결하기 위해.
• 열린 의도 검출 작업에서 구성적 일반화를 평가하기 위한 기존 벤치마크의 한계를 규명하기 위해.
• 모델의 분포 외 의도 조합에 대한 강건성을 향상시키기 위해 ChatGPT를 활용한 데이터 증강 프레임워크를 개발하고 평가하기 위해.
• GPT로 생성된 데이터를 BERT 기반 학습 파이프라인에 통합하는 다양한 전략을 체계적으로 비교하기 위해.

제안 방법

• Rouge 기반 유사도 클러스터링을 사용하여 기존 열린 의도 검출 벤치마크에서 구성적으로 다양한 서브셋을 구성하고, 중복된 인스턴스를 식별 및 제거한다.
• ChatGPT를 사용하여 학습 발화문의 복어문을 생성하여, 의도는 유지하면서 표면 형태는 다양하게 만든 합성 데이터를 생성한다.
• 세 가지 다른 전략—초기 융합, 후기 융합, 반복 재학습—을 통해 생성된 복어문을 BERT 미세조정에 통합한다.
• 열린 집합 분류를 위해 DA-ADB 프레임워크를 적용하여, 적응형 결정 경계와 증강된 학습 데이터를 조합함으로써 OOD 탐지 성능을 향상시킨다.
• 검증 정확도 기반의 조기 정지 전략을 사용하여 반복 학습을 수행하고 모델 수렴을 최적화한다.
• 은영(Banking_CG), OOS_CG, StackOverflow_CG 등 여러 벤치마크에서 분포 내 및 분포 외 의도에 대해 F1-_macro 점수를 사용하여 성능을 평가한다.

(a) Dataset construction

실험 결과

연구 질문

• RQ1 ChatGPT가 생성한 합성 데이터는 열린 의도 검출 모델의 구성적 일반화를 향상시킬 수 있는가?
• RQ2 GPT로 생성된 데이터의 통합 전략이 예측 불가능한 의도 조합에 대한 모델 성능에 미치는 영향은 어떠한가?
• RQ3 GPT와 같은 대규모 언어 모델을 활용한 데이터 증강은 여러 열린 의도 검출 벤치마크에서 F1-OOD 및 정확도에 측정 가능한 향상을 이끌어낼 수 있는가?
• RQ4 제안된 방법은 기존 최신 기술 수준의 접근 방식과 비교해 분포 외 샘플에 대한 강건성 측면에서 어떻게 성능을 내는가?

주요 결과

• StackOverflow_CG 벤치마크에서 학습 데이터 비율 75%일 때, 제안된 방법은 기준 모델 대비 F1-OOD 점수를 10.5%p 향상시켜 80.47%에 도달하였다 (기준: 69.96%).
• OOS_CG 벤치마크에서, 25% 데이터 비율일 때 F1-OOD 점수는 92.80%에 도달하여 기준 모델의 73.64%를 크게 초월하였다.
• 가장 우수한 성능를 보인 전략—조기 정지 기반의 반복 재학습—은 모든 벤치마크와 데이터 비율에서 F1-All 및 정확도를 일관되게 향상시켰다.
• 제안된 방법은 강력한 일반화 능력을 보였으며, 일부 데이터셋에서 원래 학습 데이터의 50%만을 사용할 경우 F1-OOD 점수를 최대 12.5%p 향상시켰다.
• 구성적으로 다양한 서브셋을 사용함으로써 모델의 강건성이 향상되었으며, 낮은 데이터 비율에서도 일관된 성능 향상이 관찰되었다.
• 결과는 LLM 기반 합성 데이터 증강이 열린 세계 NLU 작업에서 구성적 일반화를 향상시키는 실현 가능하고 효과적인 접근법임을 확인시켰다.

(b) ChatGPT data augmentation