[논문 리뷰] A Theory of Emergent In-Context Learning as Implicit Structure Induction

Michael G. Hahn, Navin Goyal|arXiv (Cornell University)|2023. 03. 14.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델에서의 인-컨텍스트 학습(ICL)이 사전 훈련 데이터의 조합적 연산을 통해 암묵적인 구조 유도가 일어남으로써 발생한다고 제안한다. 언어를 조합적 문법으로 공식화하고 정보 이론적 경계를 유도함으로써, 저자는 데이터에 충분한 구조적 다양성이 포함되어 있을 경우 다음 토큰 예측만으로도 ICL이 가능하다는 것을 보여준다. 이는 모델 규모 증가와 함께 ICL이 나타나고 체인 오브 씽크(Chain-of-Thought) 프롬프팅으로 성능 향상이 이루어지는 통제된 설정을 통해 검증되었다.

ABSTRACT

Scaling large language models (LLMs) leads to an emergent capacity to learn in-context from example demonstrations. Despite progress, theoretical understanding of this phenomenon remains limited. We argue that in-context learning relies on recombination of compositional operations found in natural language data. We derive an information-theoretic bound showing how in-context learning abilities arise from generic next-token prediction when the pretraining distribution has sufficient amounts of compositional structure, under linguistically motivated assumptions. A second bound provides a theoretical justification for the empirical success of prompting LLMs to output intermediate steps towards an answer. To validate theoretical predictions, we introduce a controlled setup for inducing in-context learning; unlike previous approaches, it accounts for the compositional nature of language. Trained transformers can perform in-context learning for a range of tasks, in a manner consistent with the theoretical results. Mirroring real-world LLMs in a miniature setup, in-context learning emerges when scaling parameters and data, and models perform better when prompted to output intermediate steps. Probing shows that in-context learning is supported by a representation of the input's compositional structure. Taken together, these results provide a step towards theoretical understanding of emergent behavior in large language models.

연구 동기 및 목표

• 대규모 언어 모델에서 기대되는 인-컨텍스트 학습(ICL)에 대한 이론적 기반을 마련하는 것.
• 특수한 피니테이닝 없이도 일반적인 다음 토큰 예측에서 ICL이 어떻게 발생하는지 설명하는 것.
• 넓은 ICL 능력을 가능하게 하는 조합적 구조의 역할을 공식화하는 것.
• 실제 세계의 LLM 행동을 반영하는 통제된, 언어학적으로 유용한 실험 설정을 통해 이론을 검증하는 것.
• 이론적 경계를 사용하여 체인 오브 씽크 프롬프팅의 경험적 성공을 설명하는 것.

제안 방법

• 이론적 분석을 통해 언어학적으로 유용한 가정 하에 사전 훈련 데이터에 충분한 조합적 구조가 포함되어 있을 경우 ICL이 발생할 수 있음을 보여주는 정보 이론적 경계를 도출한다.
• 일阶논리와 HMM을 사용하여 다양한 수준의 구조적 다각도를 갖는 조합적 데이터 생성을 모델링하는 새로운 통제된 데이터셋을 구축한다.
• 논리적 세계 모델에서 작업을 정의하고, 객체 집합의 크기 $|Ω|$와 함수의 크기 $|ℜ|$에 대한 제어된 변동을 갖는 조합적 텍스트로 언어 모델을 훈련시킨다.
• 중간 단계를 프롬프팅하는 것(체인 오브 씽크)이 ICL 성능을 향상시키는 이유를 설명하는 이론적 경계를 유도한다.
• 표현이 조합적 구조를 얼마나 잘 캡처하는지 점검하기 위해 探측 실험을 수행하여 이론을 지지한다.
• 루프, 기호, 조건문 등의 구성 요소를 분리하여 ICL에 필수적인지 테스트하기 위한 추상화 실험을 수행한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델에서 일반적인 다음 토큰 예측만으로 인-컨텍스트 학습(ICL)이 어떤 조건에서 기대되는가?
• RQ2 사전 훈련 데이터의 조합적 구조는 다양한 작업에 걸쳐 넓은 범위의 인-컨텍스트 학습을 어떻게 가능하게 하는가?
• RQ3 왜 체인 오브 씽크 프롬프팅이 인-컨텍스트 학습 성능을 향상시키는가?
• RQ4 모델 파라미터와 데이터 규모가 ICL의 기대에 얼마나 기여하는가?
• RQ5 조합적 구조의 표현은 ICL을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 통제된 설정에서 모델 및 데이터 규모 증가와 함께 ICL이 급격히 기대되며, 실제 세계의 LLM과 유사한 경향을 보이며, 단지 다음 토큰 예측만으로도 훈련된 점을 고려할 때 놀랍다.
• 모델이 중간 단계를 생성하도록 프롬프팅할 경우 ICL 성능이 크게 향상되며, 이는 이론적으로 도출된 정리 2의 예상 이점과 일치한다.
• 이론적 경계는 ICL 성공 여부가 작업의 조합적 서술 복잡도 $\operatorname{D}[\tau_{\phi}]$에 의존함을 예측하며, 이는 경험적으로 검증되었다.
• 추상화 실험 결과, 변수를 도입하는 구성 요소(예: 루프, '어느 정도')는 ICL에 필수적이지만, 조건문은 덜 중요한 것으로 나타났다.
• 탐색 실험 결과, 표현이 입력의 조합적 구조를 잘 캡처하고 있음을 확인하여 암묵적 구조 유도 이론을 지지한다.
• ICL은 자연스럽지 않은 프롬프트 형식에도 강건하게 유지되며, 이는 메커니즘이 표면 형식이 아닌 구조 일반화에 기반함을 시사한다.