[논문 리뷰] Prototypical Calibration for Few-shot Learning of Language Models

Zhixiong Han, Yaru Hao외 3명|arXiv (Cornell University)|2022. 05. 20.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 진짜 레이블에 따라 모델 출력을 군집화하기 위해 혼합 정규분포 모델(Gaussian Mixture Models)을 사용하여 강건하고 적응적인 결정 경계를 학습하는 방법인 프로토타입 캘리브레이션(ProCa)을 제안한다. 이는 소수의 예시로 텍스트 분류 성능을 향상시키는 데 기여한다. 아홉 개의 데이터셋에서 평균 13%p의 정확도 향상을 달성하며, 프롬프트 템플릿, 예시 순서의 변화, 클래스 불균형에 대한 강건성을 크게 향상시킨다.

ABSTRACT

In-context learning of GPT-like models has been recognized as fragile across different hand-crafted templates, and demonstration permutations. In this work, we propose prototypical calibration to adaptively learn a more robust decision boundary for zero- and few-shot classification, instead of greedy decoding. Concretely, our method first adopts Gaussian mixture distribution to estimate the prototypical clusters for all categories. Then we assign each cluster to the corresponding label by solving a weighted bipartite matching problem. Given an example, its prediction is calibrated by the likelihood of prototypical clusters. Experimental results show that prototypical calibration yields a substantial improvement on a diverse set of tasks. Extensive analysis across different scales also indicates that our method calibrates the decision boundary as expected, greatly improving the robustness of GPT to templates, permutations, and class imbalance.

연구 동기 및 목표

• 다양한 프롬프트와 예시에 따라 취약한 결정 경계로 인해 발생하는 대규모 언어 모델의 인-컨텍스트 학습의 불안정성 문제를 해결한다.
• 기존의 탐욕적 디코딩(최대 확률) 방식이 분포 변화가 발생할 경우 특히 클래스 간 구분 능력이 떨어진다는 점을 규명한다.
• 각 클래스의 모델 출력에 대한 프로토타입 군집을 모델링하여 더 강건한 결정 경계를 학습하는 방법을 개발한다.
• 원시 로짓이 아닌 학습된 프로토타입 분포의 우도를 사용해 예측을 캘리브레이션하여 소수의 예시로의 일반화 성능을 향상시킨다.
• 제로-샷 및 소수-샷 설정에서 프롬프트 템플릿, 예시 순서, 클래스 불균형에 대해 일관성 있고 강건한 성능을 확보한다.

제안 방법

• 같은 진짜 레이블을 가진 예시의 예측 분포를 프로토타입 군집으로 모델링하기 위해 혼합 정규분포 모델(GMM)을 사용한다.
• 군집 할당에서 발생할 수 있는 레이블 모호성을 해결하기 위해 가중치가 부여된 이분할 매칭을 통해 각 군집을 레이블에 할당한다.
• 각 예측의 예측값을 각 클래스의 프로토타입 분포 하에서의 우도를 계산하여 테스트 예측을 캘리브레이션한다.
• 최대우도 추정과 할당 점수(식 4)를 사용한 두 가지 추정 전략을 도입하여 군집-레이블 대응 관계를 정밀하게 조정한다.
• 내용이 없는 입력에 의존하지 않고, 예시의 전체 출력 분포를 기반으로 결정 경계를 적응적으로 학습한다.
• 기본적인 0.5 임계값이나 최대 확률 규칙보다 더 구분 능력이 뛰어난 결정 경계를 최적화한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델에서 인-컨텍스트 학습이 프롬프트 템플릿과 예시 순서의 변화에 매우 민감한 이유는 무엇인가?
• RQ2 탐욕적 디코딩을 초월해 모델 출력에서 더 강건한 결정 경계를 학습할 수 있는가?
• RQ3 모델 예측의 프로토타입 군집화가 다양한 프롬프트 형식과 클래스 불균형 상황에서 일반화 성능을 어떻게 향상시키는가?
• RQ4 제안된 캘리브레이션 방법이 모델의 인덕티브 바이어스와 프롬프트 엔지니어링으로 인한 편향을 어느 정도 감소시키는가?
• RQ5 과적합을 피하기 위해 신뢰할 수 있는 프로토타입 캘리브레이션을 위해 적절한 추정 세트 크기는 얼마인가?

주요 결과

• ProCa는 GPT-2와 GPT-J 모델을 사용해 아홉 개의 텍스트 분류 데이터셋에서 표준 탐욕적 디코딩 대비 평균 13%p의 정확도 향상을 달성한다.
• AGNews와 DBPedia에서는 할당 점수 전략을 사용할 경우 1-샷 성능이 각각 최대 14.5%와 12.0% 향상되어 문맥 기반 캘리브레이션을 뛰어넘는다.
• 작은 추정 세트(예: 4~8개 예시)만으로도 ProCa가 거의 최적의 성능을 달성하며, 일정 크기 이상에서는 수익 감소 현상이 나타난다.
• 캘리브레이션된 결정 경계는 프롬프트 변형과 예시 순서 변화에 대해 매우 강건하며, 다양한 설정 간 성능 변동을 크게 줄인다.
• SST-2, MR, Subj에서 ProCa는 최대우도 및 문맥 기반 캘리브레이션 기준선을 모두 능가하며, 소수의 예시로도 뛰어난 성능을 보인다.
• 예측 분포의 분리가 명확해지는 것으로 보아(그림 2), 이 방법은 모델의 편향을 효과적으로 완화하고 클래스 간의 구분 능력을 향상시킨다.