[논문 리뷰] Fine-tune Language Models to Approximate Unbiased In-context Learning

Timothy N. Chu, Zhao Song외 1명|arXiv (Cornell University)|2023. 10. 05.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 편향되거나 불균형하거나 노이즈가 있는 프롬프트에 취약한 인컨텍스트 학습(ICL)의 문제를 완화하기 위해 재가중된 입력-출력 예시를 사용하여 언어 모델을 피지테이닝하는 RICL(Reweighted In-context Learning)과 LARICL(Linear Approximation of Reweighted In-context Learning)을 제안한다. 이 방법들은 수치 기반 벤치마크에서 성능을 크게 향상시키며, 특히 노이즈가 있거나 불균형한 프리픽스 상황에서 표준 인컨텍스트 학습과 피지테이닝을 모두 능가한다.

ABSTRACT

In-context learning (ICL) is an astonishing emergent ability of large language models (LLMs). By presenting a prompt that includes multiple input-output pairs as examples and introducing a new query input, models can generate the corresponding output. However, the performance of models heavily relies on the quality of the input prompt when implementing in-context learning. Biased or imbalanced input prompts can significantly degrade the performance of language models. To address this issue, we introduce a reweighted algorithm called RICL (Reweighted In-context Learning). This algorithm fine-tunes language models using an unbiased validation set to determine the optimal weight for each input-output example to approximate unbiased in-context learning. Furthermore, we also introduce a low-cost reweighted algorithm, a linear optimal weight approximation algorithm called LARICL (Linear Approximation of Reweighted In-context Learning). This algorithm requires minimal training cost while providing effective results. We prove the convergence of our algorithm and validate its performance through experiments conducted on a numerical dataset. The experimental findings reveal a substantial improvement in comparison to benchmarks including the performance of casual prompt-based in-context learning and the performance of a classic fine-tuning method.

연구 동기 및 목표

• 편향되거나 불균형하거나 노이즈가 있는 입력 프롬프트로 인해 성능이 저하되는 인컨텍스트 학습(ICL)의 취약성을 해결한다.
• 모델 전체를 재학습하지 않고도 비편향 인컨텍스트 학습을 근사할 수 있는 저비용이고 효과적인 방법을 개발한다.
• 제안된 재가중 알고리즘에 대한 이론적 수렴 보장을 제공하여 강건성과 신뢰성을 확보한다.
• 비편향 검증 세트에서 최적의 예시 가중치를 학습함으로써 소수의 예시를 사용한 인컨텍스트 학습에서 일반화 능력과 공정성을 향상시킨다.

제안 방법

• 입력-출력 예시를 프롬프트에서 재가중하기 위해 임bedding 레이어 뒤에 학습 가능한 가중치 행렬 $W$와 편향 $B$를 추가하는 RICL라는 피지테이닝 방법을 도입한다.
• 검증 세트에서 예측 오차를 최소화하기 위해 $W \cdot \text{Prefix} + B$를 통해 임bedded 프리픽스를 재가중하여 비편향 인컨텍스트 예측기의 근사치를 만든다.
• 재가중 메커니즘을 단순화함으로써 학습 비용을 줄이면서도 성능를 유지하는 RICL의 선형 근사인 LARICL을 제안한다.
• 이론적 분석을 통해 학습 목표 함수의 리프시츠-연속성과 재가중 알고리즘의 수렴 한계를 입증한다.
• 재가중 파rameter를 학습하기 위해 4,000개 샘플로 구성된 검증 세트를 사용하며, 다양한 프롬프트 분포 하에서 MSE 성능을 평가하기 위해 테스트 세트를 활용한다.
• 특히 ICL이 훨씬 더 높은 오차를 보일 경우를 대비해 MSE 점수를 최소-최대 스케일링하여 메서드 간 공정한 비교를 수행한다.

실험 결과

연구 질문

• RQ1 인컨텍스트 학습에서 입력 예시를 재가중하는 것이 불균형하거나 노이즈가 있는 프롬프트에 대한 모델의 강건성을 향상시키는가?
• RQ2 재가중된 예시로 피지테이닝하는 방법이 표준 인컨텍스트 학습과 전체 피지테이닝에 비해 정확도와 일반화 능력에서 어떻게 비교되는가?
• RQ3 재가중 메커니즘의 선형 근사(LARICL)가 최소한의 학습 비용으로 근사 최적 성능을 달성할 수 있는가?
• RQ4 다양한 프롬프트 분포 하에서 재가중 알고리즘의 이론적 수렴 행동은 어떠한가?
• RQ5 RICL과 LARICL은 평균 이동 또는 고분산 특성을 가진 극단적인 프롬프트 분포에 대해 얼마나 강건한가?

주요 결과

• RICL은 불균형하거나 노이즈가 있는 프리픽스 상황에서 표준 인컨텍스트 학습과 전체 피지테이닝보다 뚜렷이 뛰어난 성능을 보이며 수치 기반 벤치마크에서 뛰어난 성능을 발휘한다.
• LARICL는 훨씬 낮은 학습 비용으로 RICL에 가까운 성능을 달성하여 실세계 적용에 실용적이다.
• 평균 값이 0.2에서 1.6 사이인 불균형 프리픽스 상황에서 RICL은 낮은 최소-최대 스케일링 MSE를 유지하여 강력한 강건성을 보여준다.
• 표준편차가 0.2에서 1.6 사이인 노이즈가 있는 프리픽스 상황에서 RICL은 ICL과 피지테이닝보다 일관되게 낮은 오차를 기록하여 입력 노이즈에 대한 저항성을 확인한다.
• 최소-최대 스케일링 MSE 지표는 ICL이 RICL과 피지테이닝보다 훨씬 더 높은 오차를 보임을 확인하며 재가중의 필요성을 입증한다.
• 이론적 수렴 한계가 확립되어 있어 RICL의 재가중 최적화 과정의 신뢰성을 뒷받침한다.