[논문 리뷰] Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations

Zhuoyan Li, Hangxiao Zhu외 2명|arXiv (Cornell University)|2023. 10. 11.

Topic Modeling인용 수 6

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Models, LLMs)이 텍스트 분류를 위한 합성 데이터를 생성하는 데 효과적인지 조사하며, 과제의 주관성과 인스턴스의 주관성이 증가함에 따라 합성 데이터에서의 모델 성능이 크게 떨어지는 것으로 나타났다. 소수의 실제 예시로 LLM을 안내하면 성능 향상이 가능하지만, 풍자 탐지와 같이 높은 주관성의 과제는 데이터 다양성의 한계와 인간의 미묘한 해석이 어려운 점으로 인해 여전히 도전 과제로 남아 있다.

ABSTRACT

The collection and curation of high-quality training data is crucial for developing text classification models with superior performance, but it is often associated with significant costs and time investment. Researchers have recently explored using large language models (LLMs) to generate synthetic datasets as an alternative approach. However, the effectiveness of the LLM-generated synthetic data in supporting model training is inconsistent across different classification tasks. To better understand factors that moderate the effectiveness of the LLM-generated synthetic data, in this study, we look into how the performance of models trained on these synthetic data may vary with the subjectivity of classification. Our results indicate that subjectivity, at both the task level and instance level, is negatively associated with the performance of the model trained on synthetic data. We conclude by discussing the implications of our work on the potential and limitations of leveraging LLM for synthetic data generation.

연구 동기 및 목표

• 실제 데이터와 비교하여 LLM에 의해 생성된 합성 데이터가 텍스트 분류 모델 훈련에 얼마나 효과적인지 평가하기 위해.
• 합성 데이터로 훈련된 모델의 성능에 영향을 미치는 과제 수준 및 인스턴스 수준의 주관성 요인을 조사하기 위해.
• 모델 일반화를 향상시키기 위한 합성 데이터 생성에서 제로샷 및 소수의 프롬프트 전략을 비교하기 위해.
• 높은 품질의 생성 능력을 지닌 LLM이 고도로 주관적인 분류 과제에서 성능이 떨어지는 이유를 이해하기 위해.
• 저자원 또는 제로샷 학습 환경에서의 합성 데이터 생성에 대한 함의를 탐색하기 위해.

제안 방법

• 제로샷 및 소수의 프롬프트 전략을 사용하여 GPT-3.5-Turbo를 활용해 10개의 다양한 텍스트 분류 과제에 대해 합성 텍스트 인스턴스를 생성함.
• 제로샷 프롬프트 전략을 적용하여 실제 예시 없이도 특정 레이블을 가진 인스턴스를 생성하도록 직접 지시함.
• 소수의 프롬프트 전략을 적용하여 실제 레이블이 부여된 몇 가지 예시를 제공함으로써 LLM이 더 맥락에 맞는 합성 데이터를 생성하도록 유도함.
• 합성 데이터와 실제 데이터 세트를 사용하여 텍스트 분류 모델을 훈련하고, 과제 간 성능을 비교함.
• 표준 평가 지표(예: F1-스코어)를 사용해 모델 성능을 측정하고, 과제 수준 및 인스턴스 수준의 주관성 점수와 결과를 상관 분석함.
• 인스턴스 수준의 주관성을 정량화하기 위해 인간이 평가한 주관성 점수를 수집함. 이를 위해 커뮤니티 워커를 활용해 레이블 일치도를 평가함.

실험 결과

연구 질문

• RQ1 과제 수준의 주관성은 LLM에 의해 생성된 합성 데이터로 훈련된 텍스트 분류 모델의 성능에 어떻게 영향을 미치는가?
• RQ2 인스턴스 수준의 주관성(즉, 인간 평가자 간의 일치도 불일치)은 합성 데이터에서의 모델 성능과 어떻게 관련이 있는가?
• RQ3 소수의 프롬프트 전략은 제로샷 프롬프트 전략에 비해 LLM에 의해 생성된 합성 데이터의 품질과 효과성에 어떻게 기여하는가?
• RQ4 특정 유형의 분류 과제에서는 합성 데이터가 실제 데이터와 유사한 성능을 내는가?
• RQ5 풍자나 유머와 같은 미묘한 주관적 언어 패턴을 포착하는 데 있어 LLM의 한계는 무엇인가?

주요 결과

• 대부분의 과제에서, 특히 풍자나 유머 탐지와 같이 높은 주관성의 과제에서는 LLM에 의해 생성된 합성 데이터로 훈련된 모델의 성능이 실제 데이터로 훈련된 모델보다 유의미하게 열 劣하다.
• 소수의 프롬프트 전략은 제로샷 프롬프트 전략에 비해 합성 데이터에서의 모델 성능을 향상시켰으며, 이는 소수의 실제 예시가 데이터 품질 향상과 모델 일반화 능력 향상에 기여함을 시사한다.
• 저주관성 과제인 뉴스 주제 분류 및 스팸 탐지에서는 합성 데이터로 훈련된 모델의 성능이 실제 데이터로 훈련된 모델과 유사한 성능을 보였다.
• 동일한 과제 내에서, 합성 데이터로 훈련된 모델은 인간 평가자들이 더 높은 일치도를 보인 저주관성 인스턴스에서 더 높은 성능를 보였다.
• 금융어휘은행(Financial Phrasebank) 및 풍자 데이터셋(Sarcasm)은 주관성 수준에 관계없이 성능 변화가 거의 없었으며, 이는 도메인 전문 용어의 존재와 제로샷 생성에서의 도메인 지식 부족으로 인한 것으로 보인다.
• 연구에서는 과제/인스턴스 주관성과 합성 데이터에서의 모델 성능 간에 강한 음의 상관관계를 발견하였으며, 이는 주관성이 합성 데이터 효과성의 핵심 조절 요인임을 시사한다.