[논문 리뷰] Self-Instruct: Aligning Language Models with Self-Generated Instructions

Yizhong Wang, Yeganeh Kordi외 5명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 117

한 줄 요약

Self-Instruct는 언어 모델의 자체 생성으로부터 지시 데이터의 부트스트래핑을 수행하여 모델을 미세조정하고, 인간 라벨링을 최소화하면서 지시 이행에서 큰 성과를 얻습니다. 이는 Super-NaturalInstructions에서 33% 포인트의 절대 개선을 가져오고 InstructGPT-001 성능에 근접합니다.

ABSTRACT

Large "instruction-tuned" language models (i.e., finetuned to respond to instructions) have demonstrated a remarkable ability to generalize zero-shot to new tasks. Nevertheless, they depend heavily on human-written instruction data that is often limited in quantity, diversity, and creativity, therefore hindering the generality of the tuned model. We introduce Self-Instruct, a framework for improving the instruction-following capabilities of pretrained language models by bootstrapping off their own generations. Our pipeline generates instructions, input, and output samples from a language model, then filters invalid or similar ones before using them to finetune the original model. Applying our method to the vanilla GPT3, we demonstrate a 33% absolute improvement over the original model on Super-NaturalInstructions, on par with the performance of InstructGPT-001, which was trained with private user data and human annotations. For further evaluation, we curate a set of expert-written instructions for novel tasks, and show through human evaluation that tuning GPT3 with Self-Instruct outperforms using existing public instruction datasets by a large margin, leaving only a 5% absolute gap behind InstructGPT-001. Self-Instruct provides an almost annotation-free method for aligning pre-trained language models with instructions, and we release our large synthetic dataset to facilitate future studies on instruction tuning. Our code and data are available at https://github.com/yizhongw/self-instruct.

연구 동기 및 목표

• 지시 미세조정을 위한 인간이 작성한 지시 데이터에 대한 의존도 감소를 촉진한다.
• 사전 학습된 LM을 미세조정하기 위해 자체 생성된 지시를 생성, 필터링 및 사용하는 부트스트래핑 파이프라인을 개발한다.
• GPT-3를 미세조정하고 표준 및 신규 작업에 대해 평가하여 자체 생성 지시 데이터의 효과를 입증한다.
• 이 접근 방식이 InstructGPT-001의 성능에 근접하고 공개 지시 데이터 세트보다 우수하다는 점을 보여준다.

제안 방법

• 175개의 인간이 작성한 작업으로 시드 세트를 초기화한다.
• 사전 학습된 LM에 프롬프트를 주어 새로운 지시와 해당 입력-출력 인스턴스를 생성하도록 한다.
• 생성된 지시를 분류 작업/비분류 작업으로 분류한다.
• 작업 유형에 따라 입력 우선(prompt) 또는 출력 우선 프롬프팅 전략을 사용하여 작업 인스턴스를 생성한다.
• 저품질이거나 반복적인 생성물을 필터링하여 대규모 지시 데이터셋(~52K 지시, ~82K 인스턴스)을 구축한다.
• 생성된 데이터에 대해 여러 프롬프트 템플릿으로 원래 LM을 미세조정하여 견고한 지시 이행 행동을 얻는다.

실험 결과

연구 질문

• RQ1 언어 모델이 광범위한 인간 라벨링 없이도 고품질의 다양한 지시와 해당 작업 인스턴스를 생성할 수 있는가?
• RQ2 자체 생성 데이터에 대한 지시 미세조정이 공개 데이터세트 및 InstructGPT와 비교하여 표준 지시 벤치마크에서 제로샷 성능을 향상시키는가?
• RQ3 자가 생성 지시 데이터의 크기와 품질이 기존 벤치마크와 사용자 지향 작업에서 지시 이행 능력에 어떤 영향을 미치는가?
• RQ4 새로운 사용자 지향 지시에 대해 자체 지시 GPT-3의 상대 성능은 지시 미세조정 기준선과 어떻게 비교되는가?

주요 결과

모델	# 매개변수	ROUGE-L
T5-LM	11B	25.7
GPT3	175B	6.8
T0	11B	33.1
GPT3 + T0 Training	175B	37.9
GPT3 Self-Instruct (Ours)	175B	39.9
InstructGPT-001	175B	40.8
Tk-Instruct	11B	46.0
GPT3 + SuperNI Training	175B	49.5
GPT3 Self-Instruct + SuperNI Training (Ours)	175B	51.6

• Self-Instruct 데이터로 GPT-3를 미세조정하면 vanilla GPT-3 대비 Super-NaturalInstructions에서 33.1퍼센트 포인트의 절대 이득이 발생한다.
• GPT-3 Self-Instruct는 Super-NI 평가에서 InstructGPT-001에 거의 근접한다.
• 새로 작성된 252개 지시 세트에 대한 인간 평가에서 Self-Instruct가 공개 지시 데이터세트로 학습된 모델보다 우수하며 InstructGPT-001의 절대 오차에서 5% 포인트 이내이다.
• 자가 생성으로 52K개의 지시와 82K개의 인스턴스를 생성하면 다양한 지시 유형이 제공되며 seed 작업과 중복이 제한적이다.
• 데이터 품질 개선(예: InstructGPT-003로부터의 증류)이 성능을 추가로 약 10% 향상시킨다.
• Self-Instruct 데이터는 Super-NI 데이터와 보완적으로 작용하여 결합 시 추가 이점을 제공하는 것으로 나타났다.