[논문 리뷰] AugGPT: Leveraging ChatGPT for Text Data Augmentation

Haixing Dai, Zhengliang Liu외 16명|arXiv (Cornell University)|2023. 02. 25.

Topic Modeling인용 수 99

한 줄 요약

AugGPT는 입력 문장당 여섯 개의 의미적으로 관련된 증강을 생성하기 위해 ChatGPT를 사용하여, BERT와 결합할 때 소수샷 텍스트 분류를 향상시킵니다. 이 방법은 여러 데이터세트에서 기존 증강 baselines를 능가합니다.

ABSTRACT

Text data augmentation is an effective strategy for overcoming the challenge of limited sample sizes in many natural language processing (NLP) tasks. This challenge is especially prominent in the few-shot learning scenario, where the data in the target domain is generally much scarcer and of lowered quality. A natural and widely-used strategy to mitigate such challenges is to perform data augmentation to better capture the data invariance and increase the sample size. However, current text data augmentation methods either can't ensure the correct labeling of the generated data (lacking faithfulness) or can't ensure sufficient diversity in the generated data (lacking compactness), or both. Inspired by the recent success of large language models, especially the development of ChatGPT, which demonstrated improved language comprehension abilities, in this work, we propose a text data augmentation approach based on ChatGPT (named AugGPT). AugGPT rephrases each sentence in the training samples into multiple conceptually similar but semantically different samples. The augmented samples can then be used in downstream model training. Experiment results on few-shot learning text classification tasks show the superior performance of the proposed AugGPT approach over state-of-the-art text data augmentation methods in terms of testing accuracy and distribution of the augmented samples.

연구 동기 및 목표

• 소량의 라벨링 데이터가 문제인 NLP에서 데이터 증강의 필요성을 제시한다.
• faithful하고 다양한 샘플을 생성하는 ChatGPT 기반 증강 파이프라인을 제안한다.
• 다양한 도메인에서 증강으로 향상된 다운스트림 분류기 정확도를 보여준다.
• 증강 샘플의 충실성과 축약성(간결성)을 조사한다.

제안 방법

• AugGPT는 ChatGPT가 생성한 6개의 패러프레이즈 유사 변형으로 각 입력 문장을 증강한다.
• 기본(더 큰) 데이터 세트로 BERT 기반 분류기를 미세조정한 다음 증강된 새 데이터(D_n_aug)로 훈련한다.
• ChatGPT 증강은 RLHF를 포함한 GPT-3/ChatGPT에 의해 구동되며 SFT, 보상 모델링, PPO 기반 RL(PPO-ptx)을 포함한다.
• 목적함수는 교차 엔트로피 손실과 대조 손실을 결합하여 같은 클래스 표현은 모으고 다른 클래스 표현은 흩어지게 한다.
• 방정식 기반 구성요소: L_CE = 교차 엔트로피 손실; L_CL = 대조 손실; L = L_CE + lambda L_CL.
• 베이스라인 비교에는 전통적 및 맥락적 증강 방법의 광범위한 세트가 포함된다.

Figure 1: The framework of AugGPT. a (top panel): First, we apply ChatGPT for data augmentation. We input samples of all classes into ChatGPT and prompt ChatGPT to generate samples that preserves semantic consistency with existing labelled instance. b (bottom panel): In the next step, we train a BER

실험 결과

연구 질문

• RQ1 ChatGPT가 생성한 증강이 의미적 라벨(충실성)을 보존하면서 다양한성(축약성)을 증가시키는가?
• RQ2 증강이 전통적 방법과 비교해 소수 샷 텍스트 분류 정확도를 향상시키는가?
• RQ3 AugGPT가 일반 도메인 및 생물의학 도메인 데이터셋에서 어떻게 성능을 보이는가?
• RQ4 대조 학습과 결합한 증강이 표현 품질에 어떤 영향을 미치는가?

주요 결과

• AugGPT는 Amazon, Symptoms, PubMed20K 데이터셋 전반에서 최첨단 증강 베이스라인보다 더 높은 테스트 정확도를 달성한다.
• ChatGPT를 사용한 증강 샘플은 원래 라벨과의 정렬을 유지하면서 다양성을 향상시킨다(충실성).
• 절삭 연구(ablation)에서 AugGPT는 많은 비-LLM 증강 기법(예: 역번역, 맥락적 단어 증강, 동의어 기반 방법)보다 성능이 우수하다.
• 2-shot ChatGPT 설정에서도 상당한 이득을 얻고 증강 데이터에 대해 BERT 기반 미세조정과 함께 사용할 때도 이득이 있다.
• 일반 도메인 및 임상/NLP 벤치마크에서 강한 성능 향상을 보인다.

Figure 2: Single-turn dialogue and multi-turn dialogues prompt