[논문 리뷰] ZeroGen: Efficient Zero-shot Learning via Dataset Generation

Jiacheng Ye, Jiahui Gao외 6명|arXiv (Cornell University)|2022. 02. 16.

Topic Modeling인용 수 6

한 줄 요약

ZeroGen은 태스크별 프롬프트를 사용하여 대규모 사전 훈련된 언어 모델(PLM)을 통해 합성 훈련 데이터를 생성함으로써 NLP에서 효율적인 제로샷 학습을 위한 혁신적인, 애너테이션 없는 프레임워크를 제안한다. 이후 이 합성 데이터를 기반으로 소형의 태스크별 모델(예: LSTM)을 훈련시켜 PLM에 비해 수개체 수준의 파rameter 수를 갖는다 해도 뛰어난 성능을 달성하며, 인간의 애너테이션 없이도 최신 기술 수준의 제로샷 성능을 보이며 효율적인 추론을 가능하게 한다.

ABSTRACT

There is a growing interest in dataset generation recently due to the superior generative capacity of large pre-trained language models (PLMs). In this paper, we study a flexible and efficient zero-short learning method, extsc{ZeroGen}. Given a zero-shot task, we first generate a dataset from scratch using PLMs in an unsupervised manner. Then, we train a tiny task model (e.g., LSTM) under the supervision of the synthesized dataset. This approach allows highly efficient inference as the final task model only has orders of magnitude fewer parameters comparing to PLMs (e.g., GPT2-XL). Apart from being annotation-free and efficient, we argue that extsc{ZeroGen} can also provide useful insights from the perspective of data-free model-agnostic knowledge distillation, and unreferenced text generation evaluation. Experiments and analysis on different NLP tasks, namely, text classification, question answering, and natural language inference, show the effectiveness of extsc{ZeroGen}.

연구 동기 및 목표

• 인간의 애너테이션 데이터를 회피하는 유연하고 애너테이션 없는 제로샷 학습 프레임워크를 개발하는 것.
• 합성 데이터 생성을 데이터 없는, 모델에 종속되지 않는 지식 정복의 형태로 탐색하는 것.
• 하류 작업 성능을 간접적으로 평가하는 방식으로 텍스트 생성 모델의 품질을 평가하는 것.
• 프롬프트 엔지니어링이 제로샷 학습에서 생성된 데이터의 효과성에 미치는 영향을 조사하는 것.
• 합성 데이터를 기반으로 훈련된 소형 태스크 최적화 모델을 통해 효율적이고 구현 가능한 추론을 가능하게 하는 것.

제안 방법

• 대규모 사전 훈련된 언어 모델(PLM)을 사용해 프롬프트 기반의 비지도 방식으로 전체 훈련 데이터셋을 생성한다.
• 하류 작업(예: 텍스트 분류, 질의 응답)과 일치하는 입력-출력 쌍을 생성하도록 태스크별 프롬프트를 설계한다.
• 낮은 품질 또는 분포 외 샘플을 제거하기 위해 단순한 필터링 히우리스틱을 적용한다.
• 표준 지도 학습을 사용해 합성 데이터셋 기반으로 소형 태스크별 모델(예: LSTM)을 훈련시킨다.
• 최종 소형 모델을 추론에 사용하여 저지연 및 저비용 배포를 가능하게 한다.
• PLM의 텍스트 생성 품질 평가를 위한 간접적이고 기준이 없는 메트릭으로 하류 작업 성능을 활용한다.

실험 결과

연구 질문

• RQ1 PLM가 프롬프트 엔지니어링을 통해 생성한 합성 데이터가 소형 모델이 제로샷 설정에서 PLM 자체를 능가하도록 할 수 있는가?
• RQ2 생성된 데이터의 품질이 하류 작업 성능과 얼마나 상관관계가 있는가? 이는 텍스트 생성의 품질 평가 메트릭으로서의 가능성을 시사하는가?
• RQ3 다양한 프롬프트 설계(예: 자연어 스타일 대비 제어 코드)가 최종 태스크 모델의 성능에 어떤 영향을 미치는가?
• RQ4 합성 데이터를 기반으로 훈련된 모델이 저자원 환경에서 인간의 애너테이션 데이터를 기반으로 훈련된 모델을 능가할 수 있는가?
• RQ5 훈련 파이프라인에서 인간의 애너테이션 없이도 NLP 모델의 더 유연하고 효율적인 배포가 가능해지는가?

주요 결과

• ZeroGen의 소형 태스크 모델(TAM)은 파arameter 수가 약 0.4%에 불과함에도 불구하고, 제로샷 텍스트 분류에서 PLM의 교사 모델을 능가한다.
• 저자원 환경에서, 합성 데이터를 기반으로 훈련된 TAM은 완전히 지도 학습된 설정에서 인간의 애너테이션 데이터를 기반으로 훈련된 동일한 모델을 능가한다.
• 하류 작업 성능은 텍스트 생성 품질을 강력하게 반영한다: 더 다양한 디코딩 전략은 더 노이지한 데이터를 생성하고 성능 저하를 초래한다.
• 프롬프트 엔지니어링은 성능에 상당한 영향을 미친다: 자연어 스타일 프롬프트와 구조화된 프롬프트는 작업에 따라 다양한 결과를 낳으며, 최적의 형식이 유일하게 존재하지는 않는다.
• 이 프레임워크는 데이터 없는, 모델에 종속되지 않는 지식 정복을 가능하게 하며, 학생 모델이 태스크별 인덕티브 바이어스를 자유롭게 통합할 수 있다.
• 이 방법은 전통적인 제로샷 학습의 실질적이고 효율적이며 효과적인 대안을 제공하며, 특히 배포 제약 환경에서 유의미하다.