[논문 리뷰] What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization

Yufeng Zhang, Fengzhuo Zhang외 2명|arXiv (Cornell University)|2023. 05. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델에서의 컨텍스트 내 학습(ICL)을 트랜스포머 어텐션 기반으로 암묵적으로 실행되는 베이지안 모델 평균화(BMA)로 프레임워크화하며, ICL 성능에 대해 O(1/T)의 위험 한계를 수립하고, 사전 훈련 오차가 깊이에 따라 지수적으로 감소하고 데이터셋 크기에 대해 비선형적으로 감소함을 증명한다. 이는 어텐션, 사전 훈련, 일반화를 통합하는 이론적 프레임워크를 제공한다.

ABSTRACT

In this paper, we conduct a comprehensive study of In-Context Learning (ICL) by addressing several open questions: (a) What type of ICL estimator is learned by large language models? (b) What is a proper performance metric for ICL and what is the error rate? (c) How does the transformer architecture enable ICL? To answer these questions, we adopt a Bayesian view and formulate ICL as a problem of predicting the response corresponding to the current covariate, given a number of examples drawn from a latent variable model. To answer (a), we show that, without updating the neural network parameters, ICL implicitly implements the Bayesian model averaging algorithm, which is proven to be approximately parameterized by the attention mechanism. For (b), we analyze the ICL performance from an online learning perspective and establish a $\mathcal{O}(1/T)$ regret bound for perfectly pretrained ICL, where $T$ is the number of examples in the prompt. To answer (c), we show that, in addition to encoding Bayesian model averaging via attention, the transformer architecture also enables a fine-grained statistical analysis of pretraining under realistic assumptions. In particular, we prove that the error of pretrained model is bounded by a sum of an approximation error and a generalization error, where the former decays to zero exponentially as the depth grows, and the latter decays to zero sublinearly with the number of tokens in the pretraining dataset. Our results provide a unified understanding of the transformer and its ICL ability with bounds on ICL regret, approximation, and generalization, which deepens our knowledge of these essential aspects of modern language models.

연구 동기 및 목표

• 사전 훈련 없이 파arameter 업데이트 없이 ICL이 대규모 언어 모델에서 어떤 유형의 추정기로 작용하는지 이해하는 것.
• ICL에 적합한 성능 측정 기준을 정의하고 그 이론적 오차율을 정량화하는 것.
• 트랜스포머 아키텍처가 프롬프팅과 사전 훈련 모두에서 ICL을 어떻게 가능하게 하는지 설명하는 것.
• 베이지안 및 온라인 학습 프레임워크를 사용하여 ICL, 사전 훈련, 일반화를 통합적으로 분석하는 이론적 분석을 제공하는 것.

제안 방법

• 예시들이 숨겨진 개념 z*로 매개화된 잠재 변수 모델에서 추출된다고 가정하여, ICL을 베이지안 추론 문제로 수식화한다.
• 파rameter 업데이트 없이 ICL이 베이지안 모델 평균화(BMA)를 구현함을 보이며, 어텐션 메커니즘이 이 과정을 근사적으로 표현함을 밝힌다.
• 온라인 학습 기반의 ICL 위험 측정 기준을 도입하여, 완벽하게 사전 훈련된 모델의 경우 O(1/T)의 위험 한계를 증명한다.
• PAC-Bayes 프레임워크를 적용하여 사전 훈련 오차를 분석하고, 이를 근사 오차와 일반화 오차 성분으로 분해한다.
• 근사 오차가 트랜스포머 깊이에 따라 지수적으로 감소하고, 일반화 오차가 사전 훈련 데이터셋 크기에 대해 비선형적으로 감소함을 증명한다.
• 집중 불등식과 행렬 노름 한계를 사용하여 어텐션 메커니즘의 안정성과 일반화 성능을 분석한다.

실험 결과

연구 질문

• RQ1 파arameter 업데이트 없이 대규모 언어 모델이 암묵적으로 학습하는 ICL 추정기는 어떤 유형인가?
• RQ2 ICL에 적합한 성능 측정 기준은 무엇이며, 이에 대한 이론적 오차율은 얼마인가?
• RQ3 트랜스포머 아키텍처는 사전 훈련과 프롬프팅 모두에서 ICL을 어떻게 가능하게 하는가?
• RQ4 사전 훈련에서의 근사 오차와 일반화 오차는 최종 ICL 성능에 어떤 영향을 미치는가?

주요 결과

• 파arameter 업데이트 없이 ICL은 베이지안 모델 평균화(BMA)를 암묵적으로 구현하며, 어텐션 메커니즘이 이 과정을 근사적으로 표현한다.
• 프롬프트에 T개의 예시가 포함된 후 ICL의 위험은 O(1/T) 이내로 제한되며, 사전 훈련 모델의 통계 오차 수준까지 유지된다.
• 사전 훈련된 모델의 근사 오차는 트랜스포머 깊이가 증가함에 따라 지수적으로 감소한다.
• 사전 훈련 데이터셋의 토큰 수에 따라 일반화 오차는 비선형적으로 감소한다.
• 표준 소프트맥스 어텐션 메커니즘은 BMA를 근사적으로 표현하며, 프롬프트 길이가 길어질수록 그 정확도가 높아진다.
• 이론적 프레임워크는 ICL, 사전 훈련, 일반화를 통합적으로 설명하며, 이 세 성분에 대한 상한을 제공한다.