[논문 리뷰] In-Context Learning Learns Label Relationships but Is Not Conventional Learning

Jannik Kossen, Yarin Gal외 1명|arXiv (Cornell University)|2023. 07. 23.

Innovative Teaching and Learning Methods인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에서의 인 컨텍스트 러닝(In-Context Learning, ICL)을 조사하며, ICL이 인 컨텍스트 예시들에서 레이블 간 관계를 활용하지만, 전통적인 학습 방식과는 다르게 이를 활용한다는 것을 입증한다. 확률적 지표와 통제된 실험을 통해 저자들은 ICL이 인 컨텍스트 레이블에 의존하며, 사전 훈련 중 축적된 편향을 극복하지 못하고, 또한 모든 인 컨텍스트 정보를 동일하게 취급하지 않는다는 점을 보여주며, 전통적 학습과 비학습적 행동 사이의 중간 지점에 있음을 드러낸다.

ABSTRACT

The predictions of Large Language Models (LLMs) on downstream tasks often improve significantly when including examples of the input--label relationship in the context. However, there is currently no consensus about how this in-context learning (ICL) ability of LLMs works. For example, while Xie et al. (2021) liken ICL to a general-purpose learning algorithm, Min et al. (2022) argue ICL does not even learn label relationships from in-context examples. In this paper, we provide novel insights into how ICL leverages label information, revealing both capabilities and limitations. To ensure we obtain a comprehensive picture of ICL behavior, we study probabilistic aspects of ICL predictions and thoroughly examine the dynamics of ICL as more examples are provided. Our experiments show that ICL predictions almost always depend on in-context labels and that ICL can learn truly novel tasks in-context. However, we also find that ICL struggles to fully overcome prediction preferences acquired from pre-training data and, further, that ICL does not consider all in-context information equally.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)에서의 인 컨텍스트 러닝(In-Context Learning, ICL)이 단지 사전 훈련 편향을 반영하는 것이 아니라, 실제로 인 컨텍스트 레이블 간 관계를 학습하는지 이해하는 것.
• ICL이 사전 훈련 중에 습득한 예측 선호도와 충돌하는 인 컨텍스트 레이블을 가질 경우, 이를 극복할 수 있는지 조사하는 것.
• 레이블 간 관계가 일관되지 않거나 상충될 경우, ICL이 모든 인 컨텍스트 정보를 동일하게 취급하는지 확인하는 것.
• 확률적 지표를 사용하여 ICL의 역학을 종합적으로 실증 분석함으로써, 정확도만으로는 드러나지 않는 예측 신뢰도의 변화를 드러내는 것.
• ICL이 전통적 학습 알고리즘과 유사한 방식으로 레이블 간 관계를 학습하는지 여부에 대한 문헌에서 갈등하는 주장을 해결하는 것.

제안 방법

• 저자들은 ICL 행동에 관한 핵심 질문들을 통계적 귀무가설로 재구성하고, 통제된 실험을 통해 이를 실증적으로 검증한다.
• 로그-가능도(Log-likelihood)를 확률적 지표로 사용하여, 무작위로 설정된 인 컨텍스트 레이블 하에서 ICL 성능을 평가함으로써 레이블 정보에 대한 의존도를 분석한다.
• 사전 훈련 신호가 없는 새로운 작업을 도입하여, ICL이 완전히 새로운 입력-레이블 관계를 인 컨텍스트 예시들로부터 학습할 수 있는지 테스트한다.
• 인 컨텍스트 예시의 수를 체계적으로 변화시키고, 이동 평균과 부트스트랩 신뢰구간을 사용하여 예측 역학을 분석한다.
• 추론 중에 레이블 간 관계를 조작함(예: 변경점에서 레이블 뒤집기)하여, ICL이 모든 인 컨텍스트 정보를 동일하게 취급하는지 테스트한다.
• 다양한 NLP 작업(SST-2, AG News, RTE 등)에서 여러 LLMs(LaMMA, Falcon, LLaMA-2 등)을 비교하여 일반화 가능성 확보

실험 결과

연구 질문

• RQ1 ICL은 인 컨텍스트 예시들의 조건부 레이블 분포에 의존하는가, 아니면 그 레이블과 독립적인가?
• RQ2 인 컨텍스트 레이블이 사전 훈련 편향과 충돌할 경우, ICL은 이를 극복할 수 있는가?
• RQ3 ICL은 모든 인 컨텍스트 정보를 동일하게 취급하는가, 아니면 질문에 가까운 예시들에 더 중시하는가?
• RQ4 로그-가능도와 같은 확률적 지표는 정확도만으로는 드러나지 않는 ICL 역학을 어떻게 드러내는가?
• RQ5 ICL은 전통적 학습 알고리즘과 유사한 방식으로 레이블 간 관계를 학습하는가?

주요 결과

• ICL 예측은 인 컨텍스트 레이블에 크게 의존한다: 무작위로 레이블을 설정하면 LLaMA-2-70B의 평균 로그-가능도가 작업 전반에서 최대 -0.995 감소하여, 레이블 의존성 확인.
• ICL는 인 컨텍스트 예시들로부터 새로운 작업을 학습할 수 있다: 사전 훈련 신호가 없는 작업에서 성능 향상으로 인해 진정된 인 컨텍스트 러닝 능력 입증.
• ICL는 사전 훈련 편향을 극복하지 못한다: 인 컨텍스트 레이블이 사전 훈련 선호도와 충돌할 경우 성능이 정점에 도달하고 회복되지 않으며, 추가 프롬프팅으로도 개선되지 않음.
• ICL는 모든 인 컨텍스트 정보를 동일하게 취급하지 않는다: 레이블 간 관계를 뒤집거나 번갈아가며 설정할 경우, 예측 결과는 변경점에 따라 유의미하게 달라지며, 최근 또는 근접한 예시들에 더 중시하는 경향을 보임.
• 확률적 지표는 정확도로는 드러나지 않는 예측 신뢰도의 큰 변화를 드러내며, ICL 분석에 있어 가능도 기반 평가의 중요성을 강조한다.
• LLaMA-2-70B 모델은 가장 뚜렷한 레이블 의존성(로그-가능도 감소 -0.995)을 보였고, LLaMA-7B와 같은 더 작은 모델은 더 약한 의존성이지만 여전히 유의미한 의존성 보임.