[논문 리뷰] The Learnability of In-Context Learning

Noam Wies, Yoav Levine외 1명|arXiv (Cornell University)|2023. 03. 14.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 고정된 사전 학습 모델을 사용한 인-context 학습을 위한 PAC 기반 프레임워크를 소개하고, 혼합-작업 사전 학습 분포에 대해 온건한 가정 아래 유한 샘플 학습 가능성 보장을 증명한다.

ABSTRACT

In-context learning is a surprising and important phenomenon that emerged when modern language models were scaled to billions of learned parameters. Without modifying a large language model's weights, it can be tuned to perform various downstream natural language tasks simply by including concatenated training examples of these tasks in its input. Though disruptive for many practical applications of large language models, this emergent learning paradigm is not well understood from a theoretical perspective. In this paper, we propose a first-of-its-kind PAC based framework for in-context learnability, and use it to provide the first finite sample complexity results for the in-context learning setup. Our framework includes an initial pretraining phase, which fits a function to the pretraining distribution, and then a second in-context learning phase, which keeps this function constant and concatenates training examples of the downstream task in its input. We use our framework in order to prove that, under mild assumptions, when the pretraining distribution is a mixture of latent tasks (a model often considered for natural language pretraining), these tasks can be efficiently learned via in-context learning, even though the model's weights are unchanged and the input significantly diverges from the pretraining distribution. Our theoretical analysis reveals that in this setting, in-context learning is more about identifying the task than about learning it, a result which is in line with a series of recent empirical findings. We hope that the in-context learnability framework presented in this paper will facilitate future progress towards a deeper understanding of this important new learning paradigm.

연구 동기 및 목표

• 고정된 모델과 함께 인-context 학습에 대한 PAC 학습 프레임워크를 정의한다.
• 멀티-작업 사전 학습 설정에서 인-context 학습에 대한 유한 샘플 복잡도 결과를 제공한다.
• 인-context 학습이 프롬프트에서 작업을 학습하기보다는 잠재 작업을 식별할 수 있음을 보인다.
• 이론적 결과를 실증 관찰과 연결하여, 인-context 학습이 작업 식별에 의존함을 보인다.

제안 방법

• 사전 학습 분포를 잠재 작업의 혼합으로 모델링하고, 작업을 나타내는 잠재 변수를 도입한다.
• 입력-레이블 쌍을 연결한 프롬프트를 사용하여 레이블을 예측하는 방식으로 인-context 학습을 정의한다.
• 프리트레이닝 혼합에 대한 가정(근사적 독립성, 토큰 하한, 양의 사전)을 설정한다.
• 정답 작업에 대한 프롬프트 가능도와 다른 작업에 대한 가능도 비가 수렴하고 k가 커질수록 올바른 구성요소를 선호함을 증명한다.
• 마진과 KL-발산 조건 하에서 효율적인 인-context 학습 가능성을 보이는 유한 샘플 경계(bound)를 도출한다.
• 두 가지 경우의 분석(대마진 및 소마진 시나리오)을 제공하여 예측 오차를 한정한다.

실험 결과

연구 질문

• RQ1 프리트레이닝된 고정 모델이 잠재적 혼합의 예시에서 도출된 연결된 예제로 인-컨텍스트 프롬프트를 제시했을 때 다운스트림 작업에서 낮은 인-context 손실을 달성할 수 있는가?
• RQ2 어떤 조건과 샘플 복잡도에서 인-context 학습이 잠재 작업을 식별하고 가중치 업데이트 없이 베이즈 최적 예측을 달성하는가?
• RQ3 프리트레이닝 분포의 혼합 구조가 인-context 학습의 효과성과 학습 가능성에 어떤 영향을 미치는가?
• RQ4 마진과 혼합 구성요소 간의 KL-발산이 유한 샘플 학습 가능성을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 온건한 가정 아래 인-context 학습에 대한 유한 샘플(다항식) 학습 가능성 보장을 제시한다.
• 인-context 프롬프트는 혼합 구성요소에 대한 사전 확률을 재가중하는 경향이 있어 잠재 작업 식별에 도움이 된다.
• 충분한 인-context 예제가 주어지면 대마진 시나리오에서 진짜 인-context 예측기가 Bayes 최적 예측기에 일치한다.
• 마진이 작더라도 손실은 Bayes 오차에 의해 여전히 한정되어 예측의 강건성을 보장한다.
• 전처리의 불완전성과 작업 인식 오류가 전체 학습 가능성을 달성하는 데 어떻게 제어될 수 있는지에 대한 2단 분석이 제시된다.
• 이 프레임워크는 무한한 데이터에 국한되지 않고, 작업 학습이 아닌 작업 식별이 인-context 학습의 핵심이라는 실증적 관찰과 일치한다.