[논문 리뷰] Instruction Induction: From Few Examples to Natural Language Task Descriptions

Or Honovich, Uri Shaham외 2명|arXiv (Cornell University)|2022. 05. 22.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 소수의 입력-출력 예시로부터 자연어 지시어를 생성하는 새로운 패러다임인 지시어 유도(instruction induction)를 소개한다. 이는 파라미터 미세조정 없이 zero-shot 태스크 설명을 가능하게 하며, 최고의 모델인 InstructGPT는 실행 정확도 43.6%를 기록하여 인간 성능의 43.6%에 해당한다. 이는 지시어 유도가 편향된 상관관계를 줄이고 모델의 투명성을 향상시키는 데 강력한 잠재력을 지닌 해석 가능한 학습 패러다임임을 보여준다.

ABSTRACT

Large language models are able to perform a task by conditioning on a few input-output demonstrations - a paradigm known as in-context learning. We show that language models can explicitly infer an underlying task from a few demonstrations by prompting them to generate a natural language instruction that fits the examples. To explore this ability, we introduce the instruction induction challenge, compile a dataset consisting of 24 tasks, and define a novel evaluation metric based on executing the generated instruction. We discover that, to a large extent, the ability to generate instructions does indeed emerge when using a model that is both large enough and aligned to follow instructions; InstructGPT achieves 65.7% of human performance in our execution-based metric, while the original GPT-3 model reaches only 9.8% of human performance. This surprising result suggests that instruction induction might be a viable learning paradigm in and of itself, where instead of fitting a set of latent continuous parameters to the data, one searches for the best description in the natural language hypothesis space.

연구 동기 및 목표

• 대규모 언어 모델이 자연어를 사용하여 소수의 예시에서 잠재된 태스크를 명시적으로 추론하고 기술할 수 있는지 조사하기.
• 파라미터 기반 학습의 대안으로서 지시어 유도의 잠재성을 탐색하며, 자연어 기반으로 해석 가능성을 향상시키기.
• 미세조정이나 레이블링된 지시어 데이터 없이도 정확하고 실행 가능한 지시어를 생성할 수 있는 언어 모델의 능력을 평가하기.
• 의미 유사도(BERTScore)와 실행 정확도를 모두 사용하여 지시어 유도 모델의 성능을 인간이 작성한 지시어와 비교하기.
• 지시어 유도가 발생하는 조건, 특히 모델 크기와 지시어 튜닝의 영향을 규명하기.

제안 방법

• 지시어 유도를 zero-shot 프롬프팅 과제로 정의: 소수의 입력-출력 쌍이 주어지면 그 태스크를 기술하는 자연어 지시어를 생성하기.
• 인간의 퍼즐 해결 행동을 모방한 메타-프롬프트를 사용하여, 미세조정 없이도 지시어 생성을 유도한다.
• 모르포시내크틱, 스타일 전이, 감성 분석 등 다양한 NLP 태스크 24개로 구성된 벤치마크 데이터셋을 구축한다.
• 두 가지 지표를 사용해 생성된 지시어를 평가한다: 인간 기준과의 의미 유사도를 측정하는 BERTScore와 기능적 정확도를 측정하는 실행 정확도.
• 실행 정확도를 측정하기 위해, 두 번째 언어 모델이 생성된 지시어만을 사용하여 태스크를 수행할 수 있는지 테스트한다.
• 작은 모델과 원본 GPT-3에 대해 분석 실험을 수행하여, 모델 크기와 지시어 튜닝이 지시어 유도 능력에 미치는 영향을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 소수의 예시 설정에서 입력-출력 쌍 간의 관계를 정확하게 기술하는 자연어 지시어를 생성할 수 있는가?
• RQ2 지시어 유도의 성능는 다양한 NLP 태스크 간에 어떻게 달라지며, 어떤 태스크가 이 패러다임에 가장 적합한가?
• RQ3 모델 크기와 지시어 튜닝이 지시어 유도 능력에 얼마나 큰 영향을 미치는가?
• RQ4 의미 유사도 지표인 BERTScore와 비교할 때 실행 정확도는 지시어 품질 평가에 있어 어떤가?
• RQ5 지시어 유도는 전통적인 파라미터 기반 학습의 타당한 대안이 될 수 있는가, 특히 편향된 상관관계를 줄이고 해석 가능성을 향상시키는 데서?

주요 결과

• InstructGPT는 지시어 유도 벤치마크에서 43.6%의 실행 정확도를 기록하여 인간 성능의 65.7%에 해당하며, 실행 가능한 지시어를 생성하는 데 강력한 기능적 정확도를 보였다.
• 원본 GPT-3 모델은 실행 정확도 지표에서 인간 성능의 단 9.8%에 그쳐, 지시어 튜닝 없이선 지시어 유도 능력이 부족함을 시사한다.
• InstructGPT는 인간 성능의 BERTScore 60.0에 비해 44.4를 기록하여 생성된 지시어가 의미적으로 인간 기준과 유사하지만 아직 완전히 대체하지는 못함을 보여준다.
• 일부 태스크, 예를 들어 공손한 어조로의 스타일 전이나 의미적 텍스트 유사도 측정 등에서는 InstructGPT가 기능적으로 정확하고 인간 수준의 지시어를 생성하며, "입력들을 더 공손한 언어로 번역하라"와 같은 문장도 생성했다.
• 지시어 유도 능력은 모델 아키텍처와 튜닝에 매우 의존한다: 작은 InstructGPT 버전과 원본 GPT-3는 의미 있는 지시어를 생성하지 못해, 지시어 튜닝과 스케일이 핵심 요소임을 시사한다.
• 일반적이거나 빈 지시어인 "모든 입력에 대해 출력을 작성하라"와 같은 지시어들은 BERTScore를 높이지만 실행 정확도에서는 실패한다. 이는 실행 정확도가 더 우수한 평가 지표임을 강력히 보여준다.