[논문 리뷰] Meta-in-context learning in large language models

Julian Coda-Forno, Marcel Binz외 4명|arXiv (Cornell University)|2023. 05. 22.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 파rameter 업데이트 없이도 이전의 여러 작업들로부터 학습함으로써, 자기 자신에 대한 인코어티드 학습 능력을 점진적으로 향상시키는 메타-인-컨텍스트 학습을 소개한다. 이 방법은 모델의 사전 지식과 학습 전략을 재구성하며, 실제 회귀 벤치마크에서 경쟁적인 성능을 달성함으로써 LLMs가 순수하게 문맥 기반 학습을 통해 환경에 적응할 수 있음을 보여준다.

ABSTRACT

Large language models have shown tremendous performance in a variety of tasks. In-context learning -- the ability to improve at a task after being provided with a number of demonstrations -- is seen as one of the main contributors to their success. In the present paper, we demonstrate that the in-context learning abilities of large language models can be recursively improved via in-context learning itself. We coin this phenomenon meta-in-context learning. Looking at two idealized domains, a one-dimensional regression task and a two-armed bandit task, we show that meta-in-context learning adaptively reshapes a large language model's priors over expected tasks. Furthermore, we find that meta-in-context learning modifies the in-context learning strategies of such models. Finally, we extend our approach to a benchmark of real-world regression problems where we observe competitive performance to traditional learning algorithms. Taken together, our work improves our understanding of in-context learning and paves the way toward adapting large language models to the environment they are applied purely through meta-in-context learning rather than traditional finetuning.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models)이 파rameter 업데이트 없이도 인코어티드 학습 자체를 통해 자신의 인코어티드 학습 능력을 향상시킬 수 있는지 조사하기.
• 메타-인-컨텍스트 학습이 인공적 및 실제 학습 도메인에서 모델의 사전 지식과 학습 전략을 어떻게 변화시키는지 이해하기.
• 伝통적인 학습 알고리즘과 비교하여 실제 세계의 회귀 문제 벤치마크에서 메타-인-컨텍스트 학습의 효과성을 평가하기.
• 특히 작업 유사도와 시퀀스 길이에 관하여 메타-인-컨텍스트 학습이 가장 효과적으로 작용하는 조건을 탐색하기.

제안 방법

• 메타-인-컨텍스트 학습을 가능하게 하기 위해, 하나의 컨텍스트 안에 다수의 학습 작업(예: 회귀 및 두 개의 손잡이 밴딧 작업)을 제시하여 LLMs에 적용하였다.
• 성능에 미치는 영향을 분석하기 위해, 현재 작업과 이전에 관찰한 작업 간의 작업 유사도를 계산하기 위해 반경 기반 함수 커널을 사용하였다.
• 실제 세계의 회귀 벤치마크에서 모델을 훈련하고 평가하였으며, 이는 42개의 데이터셋과 각 데이터셋당 50회의 시뮬레이션을 포함하였다. RMSE와 예측 범위 정확도를 측정하였다.
• 작업 시퀀스 동안 사전 기대치와 인코어티드 학습 전략의 변화를 분석함으로써 모델 행동을 분석하였다.
• 메타-인-컨텍스트 학습의 효과가 모델에 의존하지 않는지 평가하기 위해, 동일한 작업에서 GPT-3와 GPT-4의 성능을 비교하였다.
• 시험 번호와 작업 유사도가 RMSE에 미치는 영향을 정량화하기 위해 선형 회귀를 적용하였으며, 메타-인-컨텍스트 학습의 주요 동력 요소를 특정하였다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(Large Language Models)이 파rameter 업데이트 없이도 이전의 학습 작업 시퀀스에 노출됨으로써 인코어티드 학습 성능을 향상시킬 수 있는가?
• RQ2 메타-인-컨텍스트 학습은 인공 도메인에서 잠재된 작업 분포에 대한 모델의 사전 믿음에 어떻게 영향을 미치는가?
• RQ3 메타-인-컨텍스트 학습은 LLMs가 인코어티드 학습 중에 사용하는 학습 전략을 변화시키는가?
• RQ4 현재 작업과 이전에 본 작업 간의 유사도가 메타-인-컨텍스트 학습의 효과성에 얼마나 큰 영향을 미치는가?
• RQ5 메타-인-컨텍스트 학습은 실제 세계의 회귀 벤치마크에서 전통적인 기계 학습 방법과 경쟁할 수 있는 학습 알고리즘을 생성할 수 있는가?

주요 결과

• 메타-인-컨텍스트 학습은 여러 작업에서 인코어티드 학습 성능을 크게 향상시켰으며, 시험 번호에 대한 RMSE에 강한 음의 영향을 미쳤다 (β = -0.089, p < 0.001).
• 작업 유사도는 RMSE에 상당한 음의 영향을 미쳤다 (β = -0.147, p < 0.001), 이는 이전 작업과의 유사도가 높을수록 메타-인-컨텍스트 학습의 효과가 증가함을 시사한다.
• 메타-인-컨텍스트 학습은 모델이 잠재 변수에 대한 사전 지식을 적응적으로 재구성하였으며, 인공 도메인에서 실제 환경의 통계와 매우 유사하게 정렬되었다.
• 이 방법은 LLM의 인코어티드 학습 전략을 수정하여, 정적 프롬프트 엔지니어링을 초월한 동적 적응을 보여주었다.
• 실제 세계의 회귀 벤치마크에서 메타-인-컨텍스트 학습은 GPT-3가 경쟁적인 성능을 달성하도록 하였으며, 예측 값이 타당한 범위 내에 제한되었다.
• GPT-4는 메타-인-컨텍스트 학습 효과를 재현하였지만, 동일한 벤치마크에서 GPT-3보다 略적으로 낮은 성능을 보였으며, 이는 메타-학습 능력에서 모델별 차이가 있음을 시사한다.