[논문 리뷰] On the Relation between Sensitivity and Accuracy in In-context Learning

Yanda Chen, Chen Zhao외 3명|arXiv (Cornell University)|2022. 09. 16.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 인코어스터닝 학습(ICL) 모델이 이전에 인식된 것보다 훨씬 더 민감하게 반응함을 밝혀내며, 이는 레이블 편향으로 인한 것이며, 민감도와 정확도 사이에 강한 음의 상관관계가 있음을 발견하였다. 신뢰도를 향상시키기 위해 저자는 민감도가 높은 예측을 기피하는 선택적 예측 방법인 SenSel을 제안하며, 10개의 데이터셋에서 기존의 신뢰도 기반 및 엔트로피 기반 기준보다 최대 +4.1 AUC 포인트 향상시켰다.

ABSTRACT

In-context learning (ICL) suffers from oversensitivity to the prompt, making it unreliable in real-world scenarios. We study the sensitivity of ICL with respect to multiple perturbation types. First, we find that label bias obscures the true sensitivity, and therefore prior work may have significantly underestimated ICL sensitivity. Second, we observe a strong negative correlation between ICL sensitivity and accuracy: predictions sensitive to perturbations are less likely to be correct. Motivated by these findings, we propose extsc{SenSel}, a few-shot selective prediction method that abstains from sensitive predictions. Experiments on ten classification datasets show that extsc{SenSel} consistently outperforms two commonly used confidence-based and entropy-based baselines on abstention decisions.

연구 동기 및 목표

• 인코어스터닝 학습(ICL) 모델의 실제 민감도를 프롬프트 변형에 대해 조사하며, 이는 이전 연구에서 레이블 편향으로 인해 과소평가되었을 수 있음.
• ICL 예측 민감도와 정확도 사이의 관계를 검토하며, 특히 민감한 예측이 더 자주 잘못될 가능성이 있는지 확인함.
• 민감도를 신호로 활용하여 신뢰할 수 없는 예측을 기피하는 선택적 예측 방법을 개발함으로써, 고위험 응용 분야에서의 신뢰도를 향상시킴.
• 추가 레이블 데이터가 필요 없이, 소수의 예측 설정에서 기존의 신뢰도 기반 및 엔트로피 기반 기각 방법과 SenSel을 평가함.

제안 방법

• 저자는 지시어의 다듬힘, 노이즈 주입, 인코어스터닝 예제의 재정렬을 통해 프롬프트를 변형하고, 출력 변화를 측정함으로써 ICL 민감도를 측정함.
• 모델의 확률이 특정 레이블을 선호하는 경향을 제거하기 위해, 레이블 편향을 보정하기 위한 프롬프트 캘리브레이션(PC) 방법을 사용함.
• SenSel은 프롬프트 변형에 대한 높은 민감도를 기반으로 기각할 예측을 선택하며, 소규모 프롬프트 변화에 따라 출력이 크게 변할 경우 예측을 기피함.
• 민감도 점수에 임계값을 적용하여 기각 여부를 결정하며, 미세조정이나 추가 모델이 필요 없음.
• GPT-J-6B와 GPT-Neo-2.7B를 사용하여 10개의 분류 데이터셋에서 평가하며, MaxProb 및 엔트로피 기준과 성능을 비교함.
• 기각 성능 평가에는 커버리지-F1 곡선과 AUC 점수를 사용하였으며, 다양한 소수의 예측 설정과 변형 유형에서 결과를 보고함.

실험 결과

연구 질문

• RQ1 레이블 편향은 어떻게 인코어스터닝 학습 모델의 진정한 민감도를 가로막으며, 이로 인해 이전의 민감도 추정치는 어느 정도 과소평가되었는가?
• RQ2 ICL 예측 민감도와 예측 정확도 사이에 측정 가능한 상관관계가 존재하는가? 만약 존재한다면 그 강도와 방향은 무엇인가?
• RQ3 프롬프트 변형에 대한 민감도는 소수의 예측 학습에서 신뢰할 수 있는 신호로 활용될 수 있는가?
• RQ4 SenSel은 기존의 신뢰도 기반(MaxProb) 및 엔트로피 기반 기각 방법과 비교하여 AUC 및 커버리지-F1 성능에서 어떻게 성과를 내는가?
• RQ5 민감도 기반 기각과 확률 기반 기각은 상호보완적인가? 특히 고민감도 작업에서 그렇다면 어떻게 되는가?

주요 결과

• 레이블 편향은 ICL 민감도를 심각하게 과소평가함. 보정 후 조정된 민감도는 원래 민감도 대비 최대 2.8배 높아짐.
• ICL 민감도와 정확도 사이에 강한 음의 상관관계 존재. 데이터셋 간 피어슨 상관계수 최소 -0.40.
• SenSel은 선택적 예측 성능에서 MaxProb 및 엔트로피 기준보다 최대 +4.1 AUC 포인트 향상됨.
• MaxProb가 과민한 모델 확률에 의존하여 실패하는 고민감도 작업에서 SenSel은 특히 효과적임.
• SenSel과 MaxProb는 상호보완적임: SenSel은 고민감도 작업에서 뛰어난 성능을 보이며, MaxProb는 저민감도 작업에서 더 우수함.
• 모든 F1 임계값에서 커버리지-F1 곡선에서 더 높은 커버리지 비율을 달성하여, 다양한 기각 트레이드오프 상황에서도 뛰어난 성능을 보임.