[논문 리뷰] Few-Shot Text Generation with Pattern-Exploiting Training

Timo Schick, Hinrich Schütze|arXiv (Cornell University)|2020. 12. 22.

Topic Modeling참고 문헌 45인용 수 74

한 줄 요약

본 논문은 genPet를 도입합니다. 패턴을 이용한 학습 방법으로, 자연어 지시와 소수의 예시를 사용하여 텍스트 생성을 위한 생성형 언어 모델의 데이터 효율적인 파인튜닝을 가능하게 합니다. 제로샷 및 소수샷 설정에서 여러 요약 및 헤드라인 생성 태스크에서 표준 파인튜닝보다 개선을 보입니다.

ABSTRACT

Providing pretrained language models with simple task descriptions in natural language enables them to solve some tasks in a fully unsupervised fashion. Moreover, when combined with regular learning from examples, this idea yields impressive few-shot results for a wide range of text classification tasks. It is also a promising direction to improve data efficiency in generative settings, but there are several challenges to using a combination of task descriptions and example-based learning for text generation. In particular, it is crucial to find task descriptions that are easy to understand for the pretrained model and to ensure that it actually makes good use of them; furthermore, effective measures against overfitting have to be implemented. In this paper, we show how these challenges can be tackled: We introduce GenPET, a method for text generation that is based on pattern-exploiting training, a recent approach for combining textual instructions with supervised learning that only works for classification tasks. On several summarization and headline generation datasets, GenPET gives consistent improvements over strong baselines in few-shot settings.

연구 동기 및 목표

• 사전 학습된 생성기를 자연어 지시로 안내하여 데이터 효율적인 생성을 동기부여하고 가능하게 한다.
• 패턴 활용 학습 패러다임을 분류에서 생성 태스크로 확장한다.
• 제로샷 및 소수샷 체제에서 다양한 영어 요약 및 헤드라인 생성 태스크에서 genPet를 평가한다.
• genPet의 성능에 기여하는 구성요소를 분석하고 개선의 원인을 식별한다.

제안 방법

• 생성형 언어 모델의 미세조정 절차인 genPet를 도입한다. 패턴을 통해 텍스트 지시를 활용하여 생성을 유도한다.
• 단일 패턴 P를 x에 적용하여 인코더-디코더 모델에 Pet 프레임워크를 적용하고, P(x)에 조건화된 y를 생성하도록 한다.
• 패턴 P를 사용하고, 적절한 경우 지시가 생성에 미치는 영향을 조정하기 위해 P(x)의 일부를 인코더와 디코더 중 어느 쪽으로 선택적으로 처리한다.
• P(x) 내의 언어화된 지시 위치에서 모델의 토큰 확률을 이용하여 p(y|x)를 형식화한다.
• 세 가지 문제를 다룬다: 최적의 지시 통합, 지시 이해 및 패턴 변화에 대한 강건성, 소수샷 설정에서의 과적합 완화.
• 인코더-디코더 생성 기작과 p(y|z)를 토큰별 조건부로 분해하는 방법을 설명한다.

실험 결과

연구 질문

• RQ1 genPet가 지시와 소량의 라벨링 데이터로 텍스트 생성 태스크에 대해 데이터 효율적인 파인튜닝을 가능하게 할 수 있는가?
• RQ2 생성 결과에 최대한의 효과를 발휘하도록 지시를 인코더-디코더 모델에 어떻게 통합해야 하는가?
• RQ3 모델이 지시를 이해하고 패턴 변화에 대해 강건하게 유지되도록 어떻게 보장할 수 있는가?
• RQ4 지시 기반 프롬프트가 있는 소수샷 생성에서 과적합을 완화하는 전략은 무엇인가?

주요 결과

• genPet는 10개 또는 100개의 훈련 예시만으로도 요약 및 헤드라인 생성에서 Pegasus의 데이터 효율적인 파인튜닝을 크게 가능하게 한다.
• GenPet는 소수샷 설정에서 다수의 요약 및 헤드라인 생성 태스크에서 일반 파인튜닝보다 일관되게 우수하다.
• 디코더에 의한 지시 처리은 인코더만 처리하는 것보다 생성에 더 강한 영향을 미치는 경향이다.
• 본 논문은 genPet의 성능에 기여하는 요소들을 분석하고 구성요소의 영향을 정량화한다.