[논문 리뷰] Batch Calibration: Rethinking Calibration for In-Context Learning and Prompt Engineering
Batch Calibration (BC)은 제로샷, 인퍼런스 전용 보정 방법으로 배치된 ICL 입력에서 맥락 편향을 주변화하여 NLP 및 비전-언어 태스크 전반에서 LLM 프롬프트 및 프롬프트 엔지니어링을 개선하고, 이전 벤치마크 대비 최첨단 성능을 달성합니다. 라벨 데이터가 있을 때 소수샷 학습(BCL)으로 확장할 수 있습니다.
Prompting and in-context learning (ICL) have become efficient learning paradigms for large language models (LLMs). However, LLMs suffer from prompt brittleness and various bias factors in the prompt, including but not limited to the formatting, the choice verbalizers, and the ICL examples. To address this problem that results in unexpected performance degradation, calibration methods have been developed to mitigate the effects of these biases while recovering LLM performance. In this work, we first conduct a systematic analysis of the existing calibration methods, where we both provide a unified view and reveal the failure cases. Inspired by these analyses, we propose Batch Calibration (BC), a simple yet intuitive method that controls the contextual bias from the batched input, unifies various prior approaches, and effectively addresses the aforementioned issues. BC is zero-shot, inference-only, and incurs negligible additional costs. In the few-shot setup, we further extend BC to allow it to learn the contextual bias from labeled data. We validate the effectiveness of BC with PaLM 2-(S, M, L) and CLIP models and demonstrate state-of-the-art performance over previous calibration baselines across more than 10 natural language understanding and image classification tasks.
연구 동기 및 목표
- ICL 보정 방법의 실패 모드를 식별하고 원리를 통합한다.
- Batch Calibration (BC)를 배치 입력의 맥락 편향을 완화하는 간단한 제로샷 보정 계층으로 제안한다.
- 레이블 데이터가 가용할 때 BC를 학습 가능한 블랙박스 소수샷 학습(BCL) 변형으로 확장한다.
- 다양한 NLP 및 이미지 태스크에 걸친 PaLM 2 변형 및 CLIP에서 BC의 효과를 입증한다.
- Prompt 설계 선택에 대한 BC의 강건성과 비전-언어 모델에의 적용성을 보여준다.
제안 방법
- 단일 프레임워크에서 의사결정 경계에 따라 기존 보정 방법을 정의하고 분석한다.
- BC: 언레이블드 샘플 배치에서 클래스별 맥락 사전 정보를 추정하고 로짓에서 이 사전 정보를 빼서 보정하는 방법을 제시한다(본문에 수식 포함).
- 레이블이 없는 제로샷 BC(레이블 없음)와 레이블 데이터를 도입하기 위한 단일 학습 가능 강도 매개변수 γ를 갖는 확장 BCL을 제공한다.
- BC를 언어 모델(PaLM 2-S/M/L)과 비전-언어 모델(CLIP)에 적용한다.
- BC를 13개 NLP 태스크(GLUE/SuperGLUE 스위트 및 그 외)와 여러 이미지 태스크에서 평가하고 ICL, CC, DC, PC 벤치마크와 비교한다.
- BCL의 경우 레이블 데이터에서 정확도를 최대화하기 위해 그리드 탐색으로 γ를 학습한다.
실험 결과
연구 질문
- RQ1ICL에서 보정에 대해 더 나은 의사결정 경계는 무엇인가?
- RQ2콘텐츠 프리(prior) 없이 맥락 편향의 적절한 추정치가 태스크 및 모달리티 간에 일치하는가?
- RQ3단순 선형 보정 경계로 다양한 태스크에서 맥락 편향을 견고하게 완화할 수 있는가?
- RQ4제로샷 및 소수샷 설정에서 NLP 및 비전-언어 태스크에 대해 BC가 기존 벤치마크에 비해 어떤 성능 차이를 보이는가?
주요 결과
- BC는 ICL 벤치마크를 지속적으로 능가하며 태스크 전반에서 유의미한 향상을 달성한다(예: PaLM 2-S 및 PaLM 2-L에서).
- BC는 최신 Prototypical Calibration (PC) 벤치마크를 능가하고 PaLM 2-L 실험에서 평균적으로 CC를 이길 수 있다.
- BC는 프롬트 선택(템플릿, 예시 순서, 발화자)에도 강건하며 레이블이 없는 데이터만 필요하고 계산 비용이 낮다.
- 비전-언어 설정(CLIP)에서도 제로샷에서 큰 이득을 보이며 모달리티에 구애받지 않는 효과를 시사한다.
- 학습 가능한 BCL 변형은 강도 매개변수 γ 하나로 레이블 데이터가 있을 때 추가적인 소폭 이득을 낼 수 있다.
- BC는 PC보다 데이터 샘플 효율이 더 좋고, 성능 안정화를 위해 필요한 비표본 수가 훨씬 적다(대략 10대 vs. >500).
- BC는 프롬프트 취성(brittleness)을 줄이고 프롬프트 엔지니어링을 단순화하면서도 태스크 전반에 걸쳐 강력한 성능을 유지한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.