[논문 리뷰] It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners

Timo Schick, Hinrich Schütze|arXiv (Cornell University)|2020. 09. 15.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 패턴 탐색 훈련(PET)의 수정된 버전을 제안하여, ALBERT와 같은 소형 언어 모델이 파arameter 수가 GPT-3의 1,000분의 1에 불과함에도 불구하고, GPT-3 수준의 few-shot 학습 성능을 달성할 수 있도록 한다. 작업을 다중 패턴을 가진 빈칸 채우기 형식의 질문으로 재구성하고, 레이블이 붙은 데이터를 기반으로 기울기 기반 미세조정을 수행함으로써, 초당 계산 자원과 환경 영향을 크게 줄이고 SuperGLUE에서 최신 기준 성능을 달성한다.

ABSTRACT

When scaled to hundreds of billions of parameters, pretrained language models such as GPT-3 (Brown et al., 2020) achieve remarkable few-shot performance. However, enormous amounts of compute are required for training and applying such big models, resulting in a large carbon footprint and making it difficult for researchers and practitioners to use them. We show that performance similar to GPT-3 can be obtained with language models that are much "greener" in that their parameter count is several orders of magnitude smaller. This is achieved by converting textual inputs into cloze questions that contain a task description, combined with gradient-based optimization; exploiting unlabeled data gives further improvements. We identify key factors required for successful natural language understanding with small language models.

연구 동기 및 목표

• 소형 언어 모델이 거대한 파rameter 수나 과도한 계산 자원을 요구하지 않고 few-shot 학습을 수행할 수 있도록 하는 것.
• GPT-3와 같은 대규모 모델을 소형이고 더 효율적인 대체 모델로 대체함으로써 few-shot 자연어 처리의 환경적 영향을 줄이는 것.
• 소형 모델이 구조화된 프롬프트와 미세조정을 사용할 경우, GPT-3와 같은 대규모 모델의 few-shot 일반화 능력을 따라잡을 수 있는지 조사하는 것.
• 패턴 다양성, 어휘적 변형에 대한 강건성, 그리고 레이블이 붙은 데이터의 효과적 활용과 같은 요소들이 소형 모델의 높은 성능을 가능하게 하는 핵심 요인인지 규명하는 것.

제안 방법

• 다중 토큰 출력 예측을 지원하기 위해 디코딩 전략을 수정하여 확률 점수에 기반해 토큰을 순차적으로 예측하는 방식(최대 우선 디코딩)을 적용함.
• 입력을 빈칸 채우기 형식의 질문으로 변환하여, 마스크된 언어 모델(예: ALBERT)을 사용해 후보 답변의 확률을 계산함.
• 다양한 표현 방식을 통해 입력과 출력을 재구성하는 다중 패턴(PVPs)을 활용하여 모델이 다양한 형식에서 학습하고 일반화 능력을 향상시킴.
• 레이블이 붙은 예시를 기반으로 기울기 기반 미세조정을 수행하며, 더 큰 교사 모델로부터 지식 정복을 통해 성능을 향상시킴.
• 레이블이 붙은 데이터가 부족한 상황에서 성능을 향상시키기 위해, 자가 훈련 설정에서 무레이블 데이터를 활용함.
• 예측을 다중 라운드에 걸쳐 패턴 적용과 모델 업데이트를 반복함으로써 개선하는 반복적 PET(iPET)를 구현함.

실험 결과

연구 질문

• RQ1 소형 언어 모델이 거대한 파rameter 수를 요구하지 않고도 GPT-3 수준의 few-shot 성능을 달성할 수 있는가?
• RQ2 few-shot 학습에서 다중 토큰 출력 예측을 지원하기 위해 PET에 필요한 수정 사항은 무엇인가?
• RQ3 패턴 다양성, 레이블링 효율성, 모델 아키텍처 등의 요소가 소형 모델의 성능에 미치는 영향는 어떠한가?
• RQ4 무레이블 데이터와 지식 정복이 소형 모델의 few-shot 성능 향상에 어느 정도 기여하는가?
• RQ5 훈련 예시의 선택이 성능에 상당한 영향을 미치는가? 이는 GPT-3와 같은 프라밍 기반 방법과 비교해 볼 때 어떻게 다를까?

주요 결과

• 수정된 PET 방법을 통해 미세조정된 ALBERT 모델은 32개의 훈련 예시만으로도 GPT-3보다 SuperGLUE에서 더 높은 성능(평균 87.1%)을 기록했으며, GPT-3의 65.4%를 상회함.
• 수정된 PET 방법은 파arameter 수가 GPT-3의 0.1%에 불과한(약 1억 대비 1750억) 모델을 사용함에도 불구하고 SuperGLUE에서 최신 기준 성능을 달성함.
• 최대 우선 디코딩 전략이 왼쪽에서 오른쪽으로 또는 병렬 디코딩 전략보다 다중 토큰 출력에 더 뛰어난 성능을 보였으며, 특히 COPA와 ReCoRD와 같은 작업에서 두드러짐.
• 훈련 데이터의 랜덤 시드에 따라 성능이 크게 달라지는 경향이 나타나, few-shot 방법 간 비교 시 일관된 훈련 세트 사용의 중요성을 시사함.
• 지식 정복이나 무레이블 데이터 없이도 PET와 ALBERT 조합이 강력한 성능을 기록함으로써, 이 방법이 최소한의 데이터와 계산 자원으로도 효과적임을 입증함.
• 훈련이 단일 GPU에서 몇 시간 내에 완료될 수 있어, GPT-3의 막대한 계산 요구량과는 대비되게 환경 영향을 크게 줄임.