[논문 리뷰] Improving Short Text Classification With Augmented Data Using GPT-3

Salvador Balkus, Donghui Yan|arXiv (Cornell University)|2022. 05. 23.

Topic Modeling인용 수 6

한 줄 요약

이 연구는 소규모 데이터셋에서 단문 텍스트 분류 성능을 향상시키기 위해 GPT-3를 사용해 합성 학습 예제를 생성하는 것을 제안한다. 소규모 레이블이 부여된 데이터셋에 GPT-3가 생성한 예제를 보완함으로써, GPT-3 분류 엔드포인트는 정확도를 31% 향상시켰다 (0.58에서 0.76로), 이는 기준 모델과 완성 엔드포인트를 사용한 최적화된 희소 프롬프팅보다 뛰어난 성능을 보였다.

ABSTRACT

GPT-3 is a large-scale natural language model developed by OpenAI that can perform many different tasks, including topic classification. Although researchers claim that it requires only a small number of in-context examples to learn a task, in practice GPT-3 requires these training examples to be either of exceptional quality or a higher quantity than easily created by hand. To address this issue, this study teaches GPT-3 to classify whether a question is related to data science by augmenting a small training set with additional examples generated by GPT-3 itself. This study compares two classifiers: the GPT-3 Classification Endpoint with augmented examples, and the GPT-3 Completion Endpoint with an optimal training set chosen using a genetic algorithm. We find that while the augmented Completion Endpoint achieves upwards of 80 percent validation accuracy, using the augmented Classification Endpoint yields more consistent accuracy on unseen examples. In this way, giving large-scale machine learning models like GPT-3 the ability to propose their own additional training examples can result in improved classification performance.

연구 동기 및 목표

• 특히 데이터 과학 질문과 같은 담론 분야에서 레이블이 부족한 데이터 문제를 해결하기 위해.
• GPT-3가 자체적으로 합성 학습 예제를 생성함으로써 성능 향상을 이룰 수 있는지 평가하기 위해.
• 두 가지 데이터 증강 전략을 비교하기 위해: 분류 엔드포인트에 대해 더 많은 예제를 생성하고, 완성 엔드포인트에 대해 예제 선택을 최적화하기 위해.
• 미래의 실제 단문 텍스트 데이터에 대해 GPT-3 기반 분류기의 강인성과 일반화 능력을 평가하기 위해.
• 고품질 또는 대규모 데이터셋이 확보되지 않은 상황에서 자가 생성된 데이터가 모델 성능 향상에 효과적으로 기여할 수 있는지 확인하기 위해.

제안 방법

• 희소 프롬프팅을 최적화하기 위해, 소수의 예제-레이블 쌍을 포함한 프롬프트를 사용해 GPT-3 완성 엔드포인트를 활용해 단문 텍스트를 분류하였다.
• 원래의 소규모 데이터셋을 확장하기 위해 GPT-3의 텍스트 생성 기능을 활용해 1,000개의 합성 학습 예제를 생성하였다.
• 완성 엔드포인트의 희소 일반화 성능 향상을 목적으로, 유전 알고리즘을 사용해 반복적으로 가장 효과적인 학습 예제의 부분집합을 선별하였다.
• 동일한 테스트 세트에서 평가하기 위해 두 모델을 훈련하고 평가하였다: 하나는 증강된 분류 엔드포인트를 사용하고, 다른 하나는 최적화된 완성 엔드포인트를 사용하였다.
• 매사추세츠 대학 덴버 캠퍼스의 빅데이터 클럽에서 수집한 학생 질문의 실제 세계 데이터셋을 사용해 검증 및 테스트 정확도를 평가하였다.
• 모델 예측을 평가하기 위해 질문에 대한 인간 레이블링된 레이블(예: '데이터', '기타')을 정의하였다.

실험 결과

연구 질문

• RQ1 GPT-3는 소규모 단문 텍스트 데이터셋의 분류 성능 향상에 기여할 수 있는 고품질의 합성 학습 예제를 생성할 수 있는가?
• RQ2 GPT-3가 생성한 예제를 통한 데이터 증강은 최적화된 예제를 사용한 희소 프롬프팅에 비해 더 일관된 성능을 보일 수 있는가?
• RQ3 증강된 학습 데이터를 사용할 때, GPT-3 분류 엔드포인트의 성능은 완성 엔드포인트와 어떻게 비교되는가?
• RQ4 데이터 품질과 레이블링의 주관성은 단문 텍스트 분류 작업에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 유전 알고리즘 기반의 예제 선택은 완성 엔드포인트의 희소 학습 성능을 향상시킬 수 있는가, 아니면 검증 데이터에 과적합을 유도하는가?

주요 결과

• 1,000개의 GPT-3가 생성한 예제로 학습 세트를 증강함으로써, GPT-3 분류 엔드포인트의 정확도는 기준값 0.58에서 0.76로 상승하여 상대적 향상률이 31%에 이르렀다.
• 유전 알고리즘으로 최적화된 예제를 사용한 완성 엔드포인트는 검증 정확도 85%를 기록했지만, 테스트 정확도는 67%에 머물러 검증 세트에 과적합된 것으로 나타났다.
• 증강된 데이터를 사용한 GPT-3 분류 엔드포인트는 최적화된 예제를 사용한 완성 엔드포인트보다 더 일관된 성능을 보였다.
• 레이블이 모호하거나 주관적인 질문, 예를 들어 동아리 회의나 인터페이스 커스터마이제이션에 관한 질문은 GPT-3가 가장 어려워했으며 자주 잘못 분류되었다.
• 이 연구는 GPT-3의 분류 전용 엔드포인트를 사용할 경우, 자가 생성된 데이터 증강이 예제 최적화보다 희소 학습에 더 효과적임을 발견하였다.
• 결과적으로, GPT-3와 데이터 증강을 결합하면 고급 또는 대규모 데이터셋이 확보되지 않은 상황에서도 실질적인 NLP 모델 구현이 가능하다는 점을 시사한다. 특히 분류 엔드포인트를 사용할 경우 더욱 그렇다.