[논문 리뷰] Does Synthetic Data Make Large Language Models More Efficient?

Sia Gholami, Marwan Omar|arXiv (Cornell University)|2023. 10. 11.

Topic Modeling인용 수 9

한 줄 요약

본 논문은 템플릿 기반 합성 데이터(synQA)를 질문-답변 생성에 활용하고, 언어 모델링과 QA 작업에서 GPT-Efficio와 GPT-3에 미치는 영향을 평가하며, 미미한 향상과 데이터 혼합의 중요성을 강조한다.

ABSTRACT

Natural Language Processing (NLP) has undergone transformative changes with the advent of deep learning methodologies. One challenge persistently confronting researchers is the scarcity of high-quality, annotated datasets that drive these models. This paper explores the nuances of synthetic data generation in NLP, with a focal point on template-based question generation. By assessing its advantages, including data augmentation potential and the introduction of structured variety, we juxtapose these benefits against inherent limitations, such as the risk of overfitting and the constraints posed by pre-defined templates. Drawing from empirical evaluations, we demonstrate the impact of template-based synthetic data on the performance of modern transformer models. We conclude by emphasizing the delicate balance required between synthetic and real-world data, and the future trajectories of integrating synthetic data in model training pipelines. The findings aim to guide NLP practitioners in harnessing synthetic data's potential, ensuring optimal model performance in diverse applications.

연구 동기 및 목표

• 특히 템플릿 기반 질문 생성을 포함한 합성 데이터 생성이 NLP 모델 학습에서 차지하는 역할을 조사한다.
• 합성 데이터가 학습을 보강하고 모델의 강인성, 편향, 그리고 성능에 미치는 영향을 평가한다.
• 여러 작업에서 합성 데이터가 강화된 작은 모델(GPT-Efficio)을 GPT-3 기준선과 비교한다.
• 템플릿 기반 생성의 한계를 식별하고 실제 데이터 및 다른 방법과의 통합을 제안한다.

제안 방법

• 텍스트를 전처리하고 문장을 구분한 뒤 NER, 의존 구문 분석, 품사 태깅 등의 NLP 분석을 적용한다.
• 미리 정의된 템플릿(who, what, when, where, why, how)을 사용해 질문을 생성하고 해당 답을 추출한다.
• 합성 질문-답변 쌍으로 QA 모델을 학습하고 표준 벤치마크로 평가한다.
• 다양한 매개변수 수에서 synQA가 있는 GPT-Efficio와 없는 GPT-Efficio의 성능을 GPT-3와 비교한다.
• 합성 데이터의 하이퍼파라미터를 분석하고 특히 합성 대 실제 데이터 비율과 템플릿 복잡성을 다룬다.
• 한계점을 논의하고 하이브리드 또는 적응형 합성 데이터 전략의 향후 방향을 제시한다.

실험 결과

연구 질문

• RQ1 템플릿 기반 합성 QA 데이터가 기준선에 비해 언어 모델링 및 QA 성능을 향상시키는가?
• RQ2 합성 대 실제 데이터 비율이 작업 간 모델 정확도와 강인성에 어떤 영향을 미치는가?
• RQ3 트랜스포머 모델에서 템플릿 기반 합성 데이터의 트레이드오프와 한계는 무엇인가?
• RQ4 synQA가 LAMBADA, StoryCloze, HellaSwag, NQ, WebQ, TriviaQA 전반에서 일관된 이득을 제공할 수 있는가?
• RQ5 NLP에서 합성 데이터의 효과를 높일 수 있는 향후 방향은 무엇인가?

주요 결과

모델	n_params	LAMBADA (정확도)	LAMBADA (ppl)	StoryCloze (정확도)	HellaSwag (정확도)
GPT-3 Zero-Shot	175B	76.2	3.00	83.2	78.9
GPT-3 One-Shot	175B	72.5	3.35	84.7	78.1
GPT-3 Few-Shot	175B	86.4	1.92	87.7	79.3
GPT-Efficio	950M	67.1	9.2	80.5	72.6
GPT-Efficio (+ synQA)	950M	67.1	9.2	80.5	72.6

• GPT-Efficio (950M)에서 synQA를 사용하면 비-synQA 버전에 비해 작업 전반에서 비슷하거나 미미한 향상을 보인다.
• 언어 모델링 작업에서 synQA의 이점은 작업에 따라 다르며 일반적으로 수십억 매개변수를 가진 GPT-3와 비교했을 때 미미하다.
• QA 작업은 GPT-Efficio에서 synQA로 점진적 이점을 보이나 175B의 GPT-3 기준선보다 항상 높은 것은 아니다.
• 완성형 태스크에서 GPT-3(Few-Shot)가 종종 GPT-Efficio 변형보다 우수해 매개변수 규모의 차이를 강조한다.
• 합성 대 실제 데이터 비율이 성능에 큰 영향을 미치며 작업과 데이터 품질에 따라 이득과 과적합 위험이 모두 나타난다.
• 전반적으로 합성 데이터는 QA 데이터 생성과 모델 강인성에 도움이 될 수 있지만 실제 데이터와의 섬세한 보정 및 통합이 필요하다.