[논문 리뷰] TinyStories: How Small Can Language Models Be and Still Speak Coherent English?

Ronen Eldan, Yuanzhi Li|arXiv (Cornell University)|2023. 05. 12.

Topic Modeling인용 수 46

한 줄 요약

이 논문은 TinyStories를 소개합니다. 이는 GPT-3.5/4로 생성된 합성 어린이 어휘 데이터셋으로, 10M 파라미터 이하의 초소형 언어 모델을 훈련 및 평가하고, 문법, 창의성, 지시 준수를 평가하는 새로운 GPT-4 기반 평가 Paradigm(GPT-Eval)을 제시합니다.

ABSTRACT

Language models (LMs) are powerful tools for natural language processing, but they often struggle to produce coherent and fluent text when they are small. Models with around 125M parameters such as GPT-Neo (small) or GPT-2 (small) can rarely generate coherent and consistent English text beyond a few words even after extensive training. This raises the question of whether the emergence of the ability to produce coherent English text only occurs at larger scales (with hundreds of millions of parameters or more) and complex architectures (with many layers of global attention). In this work, we introduce TinyStories, a synthetic dataset of short stories that only contain words that a typical 3 to 4-year-olds usually understand, generated by GPT-3.5 and GPT-4. We show that TinyStories can be used to train and evaluate LMs that are much smaller than the state-of-the-art models (below 10 million total parameters), or have much simpler architectures (with only one transformer block), yet still produce fluent and consistent stories with several paragraphs that are diverse and have almost perfect grammar, and demonstrate reasoning capabilities. We also introduce a new paradigm for the evaluation of language models: We suggest a framework which uses GPT-4 to grade the content generated by these models as if those were stories written by students and graded by a (human) teacher. This new paradigm overcomes the flaws of standard benchmarks which often requires the model's output to be very structures, and moreover provides a multidimensional score for the model, providing scores for different capabilities such as grammar, creativity and consistency. We hope that TinyStories can facilitate the development, analysis and research of LMs, especially for low-resource or specialized domains, and shed light on the emergence of language capabilities in LMs.

연구 동기 및 목표

• TinyStories를 소개합니다. 3-~4세 아이가 이해할 수 있는 어휘를 사용하는 짧은 이야기의 합성 데이터셋입니다.
• 매우 작은 모델(10M 파라미터 미만)이 유창하고 일관된 이야기를 생성하고 추론을 보일 수 있음을 입증합니다.
• 다차원 모델 평가를 위한 GPT-4 기반 평가 Paradigm(GPT-Eval)을 제안합니다.
• TinyStories가 훈련 시간을 단축하고(대개 단일 GPU에서 하루 미만) 해석 가능한 모델과 주의/활성화 패턴을 관찰할 수 있음을 보여줍니다.
• LM의 언어 능력 출현에 대한 통찰과 저자원 또는 특수 도메인에서의 잠재적 이점을 제공합니다.

제안 방법

• 제한된 어휘(~1500 기본 어휘)와 무작위 단어/특징 프롬프트를 사용하여 이야기를 생성하도록 GPT-3.5/4를 프롬프트해 TinyStories를 만들고 다양성을 극대화합니다.
• TinyStories-Instruct를 제공하는 변형으로, 각 이야기 앞에 지시 세트(단어, 문장, 특징, 요약)가 배치됩니다.
• GPT-Eval 개발: GPT-4를 사용해 주어진 시작점에 대해 문법, 창의성, 일관성을 평가하도록 모델 완성을 다차원적으로 채점합니다.
• TinyStories를 학습 데이터로 사용해 매우 작은 모델(1M–35M 파라미터; 1–8 계층)을 단일 V100 GPU에서 훈련하며, 256토큰 윈도우, 512 컨텍스트 길이, 축소된 임베딩(256) 및 top-10K 토크나이저를 사용합니다.
• 주의 헤드와 MLP 활성화를 분석해 모델 동작 및 생성 과정을 해석합니다.
• 출력을 더 큰 모델(예: GPT-2 XL)과 비교하여 작은 규모에서의 능력 출현을 시연합니다.

실험 결과

연구 질문

• RQ1 일관되고 유창한 영어 생성을 위해 필요한 최소 모델 크기와 아키텍처는 무엇인가?
• RQ2 TinyStories에서 훈련된 매우 작은 모델이 사실적 지식과 기본 추론을 습득할 수 있는가?
• RQ3 TinyStories 프레임워크가 작은 모델에서 해석 가능한 내부 메커니즘(주의/MLP 활성화)을 드러내는가?
• RQ4 GPT-4 기반 평가 프레임워크(GPT-Eval)가 문법, 창의성, 지시 준수 평가에 얼마나 효과적인가?

주요 결과

• TinyStories는 1천만 파라미터 미만의 모델도 유창하고 다양한, 문법적으로 일관된 이야기를 생성하는 성능을 보여줍니다.
• 작은 모델도 제한된 규모에도 불구하고 사실적 지식과 기본 추론 능력을 보이기 시작합니다.
• TinyStories로 학습된 모델은 해석 가능한 주의 패턴과 문장 역할에 맞는 구조화된 뉴런 활성화를 나타냅니다.
• GPT-Eval 프레임워크는 문법, 창의성, 지시 준수의 다차원 평가를 제공하며 전통 벤치마크의 한계를 해결합니다.
• TinyStories 학습은 빠르고(대부분 단일 GPU에서 하루 미만) 아키텍처와 하이퍼파라미터에 걸쳐 확장 가능합니다.
• 작은 임베딩과 얕은 아키텍처일지라도 특정 이야기 생성 작업에서 더 큰 모델의 일부 출력보다 우수한 성과를 낼 수 있습니다.