[논문 리뷰] Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback

Katherine Tian, Eric Mitchell외 6명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 강화학습을 통한 인간 피드백(RLHF)으로 미세조정된 언어 모델에 대해, 신뢰도 점수를 숫자 확률 또는 불확실성 표현의 언어적 표현으로 언어화하도록 프롬프팅하는 방법을 제안한다. 이는 모델의 내부 로그 확률에 비해 훨씬 더 잘 校정된 예측을 가능하게 하며, GPT-3.5-turbo, GPT-4, Claude 2 등의 모델에서 이는 예측의 보정 오차(Expected Calibration Error, ECE)를 50% 이상 감소시킨다. 특히 다중 가설 프롬프팅과 조합할 경우, 실세계 적용에서 신뢰성을 향상시키는 실용적이고 제로샷(Zero-shot) 방법이 된다.

ABSTRACT

A trustworthy real-world prediction system should produce well-calibrated confidence scores; that is, its confidence in an answer should be indicative of the likelihood that the answer is correct, enabling deferral to an expert in cases of low-confidence predictions. Recent studies have shown that unsupervised pre-training produces large language models (LMs) whose conditional probabilities are remarkably well-calibrated. However, the most widely-used LMs are fine-tuned with reinforcement learning from human feedback (RLHF-LMs), and some studies have suggested that RLHF-LMs produce conditional probabilities that are very poorly calibrated. In light of this perceived weakness, we conduct a broad evaluation of methods for extracting confidence scores from RLHF-LMs. For RLHF-LMs such as ChatGPT, GPT-4, and Claude, we find that verbalized confidences emitted as output tokens are typically better-calibrated than the model's conditional probabilities on the TriviaQA, SciQ, and TruthfulQA benchmarks, often reducing the expected calibration error by a relative 50%.

연구 동기 및 목표

• 강화학습을 통한 인간 피드백(RLHF)으로 미세조정된 언어 모델에서 예측의 신뢰도 점수가 빈번히 과도하게 확신을 갖는 경향을 해결하기 위함.
• 모델가 추정한 로그 확률에 비해, 숫자나 단어로 표현된 언어적 신뢰도 점수를 제시할 경우 보다 잘 校정된 출력을 얻을 수 있는지 평가하기 위함.
• 다양한 답변 선택지를 생성한 후에 신뢰도 점수를 할당하도록 프롬프팅하는 전략이 언어화된 신뢰도의 보정에 기여하는지 조사하기 위함.
• 추가적인 미세조정 없이도 제로샷 프롬프팅이 모델의 확률보다 더 나은 보정을 달성할 수 있는지 확인하기 위함.
• 다양한 모델(GPT-3.5-turbo, GPT-4, Claude 2, Llama-2-70b-chat)과 벤치마크(TriviaQA, SciQ, TruthfulQA)를 통해 이러한 결과가 얼마나 일반화되는지 평가하기 위함.

제안 방법

• RLHF로 미세조정된 언어 모델에 자연어로 신뢰도 점수를 출력하도록 프롬프팅하여, 예를 들어 '매우 가능성이 높음' 또는 '70% 확신'과 같은 표현을 토큰 공간에서 직접 생성하도록 함.
• 심리학적 기법을 영감으로 받아, 모델이 신뢰도 점수를 할당하기 전에 여러 답변 가설을 생성하도록 하는 제로샷 프롬프팅 전략을 사용함.
• 기존의 보정 평가 지표인 기대 보정 오차(Expected Calibration Error, ECE), 브리어 스코어(Brier Score, BS), ROC 곡선 아래 면적(AUC)을 사용해 언어화된 신뢰도 점수의 보정 수준을 평가함.
• 특히 GPT-3.5-turbo와 GPT-4와 같은 모델의 경우 언어화된 확률의 보정을 향상시키기 위해 온도 스케일링(temperature scaling)을 적용함.
• 보정을 향상시키기 위해 보류된 보정 데이터셋을 사용해 가능성 표현(예: '중간 정도로 가능성 있음' → 확률로 매핑)을 최적화함. 이를 'Ling. 1S-opt'로 지칭함.
• 다양한 모델과 벤치마크에서 언어화된 신뢰도 점수를 모델의 로그 확률, 엔트로피, 기타 기준과 비교함.

Figure 1: Verbalized confidence scores (blue) are better-calibrated than log probabilities (orange) for gpt-3.5-turbo . Raw model probabilities (top-left) are consistently over-confident. Verbalized numerical probabilities (bottom) are better-calibrated. Considering more answer choices (bottom-right

실험 결과

연구 질문

• RQ1 GPT-3.5-turbo, GPT-4, Claude 2와 같은 RLHF로 미세조정된 언어 모델이 내부 로그 확률에 의존하는 대신 불확실성을 언어로 표현함으로써 더 잘 校정된 신뢰도 추정을 할 수 있는가?
• RQ2 신뢰도 점수를 할당하기 전에 여러 답변 선택지를 생성하도록 프롬프팅하는 것이 언어화된 신뢰도의 보정에 기여하는가?
• RQ3 다양한 모델과 데이터셋에서 언어화된 숫자 확률과 언어적 불확실성 표현(예: '가능함', '불가능함') 간의 보정 수준는 어떻게 비교되는가?
• RQ4 온도 스케일링이 RLHF-LM에서 언어화된 신뢰도 점수의 보정에 얼마나 기여하는가?
• RQ5 Llama-2-70b-chat과 같은 오픈소스 모델의 언어화 능력이 GPT-4나 Claude 2와 같은 비공개 모델에 비해 신뢰도 보정 측면에서 어떻게 비교되는가?

주요 결과

• GPT-3.5-turbo, GPT-4, Claude 2의 경우 SciQ 벤치마크에서 모델의 로그 확률에 비해 언어화된 신뢰도 점수로 기대 보정 오차(Expected Calibration Error, ECE)가 50% 이상 감소함.
• 모든 평가된 모델과 벤치마크에서 언어화된 숫자 확률이 모델의 로그 확률보다 항상 더 잘 校정된 것으로 나타났으며, 특히 도전적인 TruthfulQA 데이터셋에서 가장 뚜렷한 향상이 관찰됨.
• 신뢰도 점수를 할당하기 전에 여러 답변 가설을 생성하고 평가하는 전략은 보정 수준을 크게 향상시켰으며, 단일 가설 프롬프팅 대비 ECE를 최대 50%까지 감소시킴.
• 온도 스케일링은 언어화된 확률의 보정을 추가로 향상시켰으며, 특히 GPT-3.5-turbo와 GPT-4에서 효과가 두드러졌지만, 모델 간으로는 차이가 있었음.
• Claude 2는 Claude 1에 비해 더 뛰어난 언어화 능력을 보였고, GPT-4는 GPT-3.5-turbo보다 언어화된 신뢰도 보정에서 뛰어났지만, 양자 모두 자신의 로그 확률보다 우수함.
• Llama-2-70b-chat은 비공개 모델보다 언어화 성능이 떨어지지만, TruthfulQA에서 특히 로그 확률 대비 보정 수준이 향상되었으며, 오픈소스 모델의 향상 잠재력이 있음을 시사함.

Figure 2: RLHF generally worsens the calibration of Llama-70B’s log probabilities , as measured by ECE (lower is better) or AUC (higher is better). However, this paper (Tables 1 - 5 ) will show that for several strong RLHF-LMs, the model’s verbalized confidence is often better-calibrated than its lo