[논문 리뷰] A Survey on In-context Learning

Qingxiu Dong, Lei Li외 12명|arXiv (Cornell University)|2022. 12. 31.

Topic Modeling인용 수 245

한 줄 요약

이 논문은 컨텍스트 내 학습(ICL)의 형식적 정의, 학습 및 추론 단계, 시연 설계, 채점 함수, 분석, 평가 및 LLMs를 위한 향후 방향에 대해 조사한다.

ABSTRACT

With the increasing capabilities of large language models (LLMs), in-context learning (ICL) has emerged as a new paradigm for natural language processing (NLP), where LLMs make predictions based on contexts augmented with a few examples. It has been a significant trend to explore ICL to evaluate and extrapolate the ability of LLMs. In this paper, we aim to survey and summarize the progress and challenges of ICL. We first present a formal definition of ICL and clarify its correlation to related studies. Then, we organize and discuss advanced techniques, including training strategies, prompt designing strategies, and related analysis. Additionally, we explore various ICL application scenarios, such as data engineering and knowledge updating. Finally, we address the challenges of ICL and suggest potential directions for further research. We hope that our work can encourage more research on uncovering how ICL works and improving ICL.

연구 동기 및 목표

• 컨텍스트 내 학습을 정의하고 관련 연구와의 관계를 명확히 한다.
• ICL을 향상시키는 학습 전략과 워밍업 방법을 요약한다.
• 선택, 정렬, 형식화 등 시연 설계 전략과 채점 함수를 자세히 다룬다.
• ICL 성능에 영향을 미치는 요인을 분석하고 이론적 통찰을 제공한다.
• 평가 자원, 벤치마크 및 향후 연구 방향을 개요한다.

제안 방법

• 사전 학습된 언어 모델을 바탕으로 한 ICL의 형식적 정의 및 형태화.
• 훈련(워밍업) 및 추론(시연 설계 및 채점) 단계의 분류체계.
• 선택, 정렬 및 형식화를 포함한 시연 설계 기법에 대한 조사.
• 출력 선택을 위한 채점 함수(Direct, Perplexity, Channel)의 비교.
• ICL 성능에 영향을 미치는 요인과 떠오르는 이론적 해석의 분석.
• ICL 연구를 위한 평가 벤치마크 및 자원의 모음.

실험 결과

연구 질문

• RQ1 콘텍스트 내 학습이 무엇이며 LLMs에 대해 형식적으로 어떻게 정의되는가?
• RQ2 추론 전에 ICL을 향상시킬 수 있는 학습 워밍업 방법은 무엇인가?
• RQ3 시연 설계(선택, 정렬, 형식화)에 어떤 전략이 있으며 그것들이 성능에 어떤 영향을 미치는가?
• RQ4 ICL에서 모델 출력이 신뢰할 수 있는 예측으로 가장 잘 변환되도록 하는 채점 함수는 무엇인가?
• RQ5 ICL 성능에 영향을 미치는 요인은 무엇이며 현재 분석은 ICL 작동 방식에 대해 무엇을 밝히는가?

주요 결과

• ICL은 매개변수 업데이트 없이 시연을 통해 유추에서 학습하는 것에 의존한다.
• 워밍업(지도 학습 또는 자기 지도)은 ICL을 향상시킬 수 있지만 더 큰 학습 데이터에서 포화 현상을 보인다.
• 시연 설계(선택, 정렬 및 형식화)가 ICL 성능에 상당한 영향을 미친다.
• 주요 채점 함수 3가지는 Direct, Perplexity, Channel이며 효율성, 적용 범위, 안정성의 trade-off가 있다.
• 시연의 다양성, 시험 입력과의 유사성, 입력-레이블 형식은 ICL 성공과 강하게 상관된다.
• 새로운 벤치마크(BIG-Bench, OPT-IML Bench)는 ICL에 대한 지속적인 평가의 도전을 보여준다.