[논문 리뷰] In-Context Learning Creates Task Vectors

Roee Hendel, Mor Geva외 1명|arXiv (Cornell University)|2023. 10. 24.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에서의 인코어드 컨텍스트 러닝(In-Context Learning, ICL)이 시범 예제를 단일 작업 벡터로 압축하여 쿼리에 대한 모델 출력을 조정한다는 것을 제안한다. 저자들은 ICL이 작업 규칙을 캡처하는 작업 벡터를 통해 작동하는 가설 클래스 학습 메커니즘으로 간주될 수 있음을 보여주며, 직접적인 시범 예제 접근 없이도 정확한 예측이 가능하다고 밝힌다. 이는 다양한 모델과 작업에서의 실증적 검증을 통해 뒷받ány된다.

ABSTRACT

In-context learning (ICL) in Large Language Models (LLMs) has emerged as a powerful new learning paradigm. However, its underlying mechanism is still not well understood. In particular, it is challenging to map it to the "standard" machine learning framework, where one uses a training set $S$ to find a best-fitting function $f(x)$ in some hypothesis class. Here we make progress on this problem by showing that the functions learned by ICL often have a very simple structure: they correspond to the transformer LLM whose only inputs are the query $x$ and a single "task vector" calculated from the training set. Thus, ICL can be seen as compressing $S$ into a single task vector $\boldsymbolθ(S)$ and then using this task vector to modulate the transformer to produce the output. We support the above claim via comprehensive experiments across a range of models and tasks.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)에서의 인코어드 컨텍스트 러닝(In-Context Learning, ICL)의 기본 메커니즘을 이해하는 것. 이는 그 실험적 성공에도 불구하고 여전히 잘 이해되지 않는 바이다.
• ICL을 공식적인 학습 이론 프레임워크로 매핑하기 위해, ICL이 작동하는 가설 클래스를 특정화하는 것.
• ICL이 두 단계 과정으로 분해될 수 있는지 조사하는 것: (1) 시범 예제에서 작업 벡터를 학습하고, (2) 이를 쿼리에 적용하는 것.
• 작업 벡터가 입력 시범 예제와는 독립적으로 의미 있는, 작업에 특화된 의미 정보를 포함하고 있는지 검증하는 것.
• 이 메커니즘이 새로운 작업에 대한 효율적이고 해석 가능한 LLM 적응을 위해 미치는 영향을 탐색하는 것.

제안 방법

• ICL을 가설 클래스 시각화로 제안하여, 모델이 쿼리 x와는 독립적으로 시범 예제 S로부터 작업 벡터 θ(S)를 학습한다.
• 이중 구조 메커니즘 정의: (1) S에서 θ(S)를 계산하는 '학습 알고리즘' 𝒜, (2) S에 직접 접근하지 않고 θ(S)와 x를 사용해 출력을 생성하는 '규칙 적용' f.
• 디코더 전용 트랜스포머의 어텐션 메커니즘을 활용해, S와 x를 처리한 후의 히든 상태 표현으로서 작업 벡터를 추출한다.
• 선형 투영을 통해 작업 벡터를 어휘 공간에 투영하여 그 의미적 내용을 해석한다.
• 번역, 어휘의 의미 해석, 산수 추론 등 다양한 NLP 작업에서 방법을 훈련하고 평가한다.
• 표준 ICL 및 기준 모델과의 성능 비교를 통해 효과성과 일반화 능력을 검증한다.

Figure 1: ICL as learning in a Hypothesis Class. In ICL, one provides an LLM with a prompt including demonstrations $S$ of some task, and a query $x$ . The model generates the output for $x$ (here “Yellow”). We show that the underlying process can be broken down into two parts: $\mathcal{A}$ , a “le

실험 결과

연구 질문

• RQ1 LLM에서의 인코어드 컨텍스트 러닝(ICL)은 단일 작업 벡터 θ(S)가 시범 예제 S의 규칙을 압축하는 가설 클래스 학습 메커니즘으로 공식화될 수 있는가?
• RQ2 작업 벡터 θ(S)가 쿼리 x에 독립적이어서, S를 재처리하지 않고도 새로운 쿼리에 적용될 수 있는가?
• RQ3 작업 벡터 θ(S)는 작업 전용 용어가 입력에 나타나지 않더라도 의미적으로 해석 가능한 의미 정보를 포함하고 있는가?
• RQ4 작업 벡터 접근 방식은 다양한 모델과 작업 간에 일반화되어 높은 정확도를 유지할 수 있는가?
• RQ5 다양한 작업에서 작업 벡터 기반 방법의 성능은 표준 ICL 및 기준 모델과 비교해 어떻게 되는가?

주요 결과

• 작업 벡터 θ(S)는 시범 예제 S의 기본 규칙을 성공적으로 캡처하여, S에 직접 접근하지 않고도 미리 보지 않은 쿼리에 대해 정확한 예측을 가능하게 한다.
• 번역 작업에서 모델은 작업 벡터를 사용해 96%의 정확도를 기록하여, 소수의 예제로부터의 강력한 일반화 능력을 입증했다.
• 프랑스어에서 영어로의 번역 작업에서 작업 벡터 투영의 상위 토큰으로 'English'와 'translate'가 포함되어 있어, 입력에 존재하지 않는 의미적 작업 정보가 벡터에 압축되어 있음을 시사한다.
• 'Present to Past' 작업에서는 95%의 정확도를 기록하여, 다양한 언어적 변환에 대해 뛰어난 성능을 보였다.
• 모델 간 일반화가 가능하여, LLaMA 13B, GPT-3 및 기타 모델에서 여러 작업에서 강력한 결과를 보였다.
• 작업 벡터 접근 방식은 ICL의 기계적 해석을 제공하며, LLM이 시범 예제를 단일 해석 가능한 벡터로 압축하여 모델의 행동을 조정한다는 것을 시사한다.

Figure 2: Separating $\mathcal{A}$ and $f$ . To make $\boldsymbol{\theta}$ independent of the query $x$ , we use a dummy query ( $x^{\prime}=\mbox{Plum}$ ) and use the representation of $\rightarrow$ at the $L^{th}$ layer as $\boldsymbol{\theta}$ . The vector $\boldsymbol{\theta}$ is then patched at