[논문 리뷰] Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs

Miao Xiong, Zhiyuan Hu외 5명|arXiv (Cornell University)|2023. 06. 22.

Artificial Intelligence in Law인용 수 49

한 줄 요약

논문은 LLM의 비 로짓 기반 신뢰도 elicitation 방법을 벤치마킹하여 구두화된 방법, 일관성 기반 방법, 하이브리드 접근법을 여러 모델과 과제에서 비교하고 표현된 불확실성의 보정 및 신뢰성을 평가한다.

ABSTRACT

Empowering large language models to accurately express confidence in their answers is essential for trustworthy decision-making. Previous confidence elicitation methods, which primarily rely on white-box access to internal model information or model fine-tuning, have become less suitable for LLMs, especially closed-source commercial APIs. This leads to a growing need to explore the untapped area of black-box approaches for LLM uncertainty estimation. To better break down the problem, we define a systematic framework with three components: prompting strategies for eliciting verbalized confidence, sampling methods for generating multiple responses, and aggregation techniques for computing consistency. We then benchmark these methods on two key tasks-confidence calibration and failure prediction-across five types of datasets (e.g., commonsense and arithmetic reasoning) and five widely-used LLMs including GPT-4 and LLaMA 2 Chat. Our analysis uncovers several key insights: 1) LLMs, when verbalizing their confidence, tend to be overconfident, potentially imitating human patterns of expressing confidence. 2) As model capability scales up, both calibration and failure prediction performance improve. 3) Employing our proposed strategies, such as human-inspired prompts, consistency among multiple responses, and better aggregation strategies can help mitigate this overconfidence from various perspectives. 4) Comparisons with white-box methods indicate that while white-box methods perform better, the gap is narrow, e.g., 0.522 to 0.605 in AUROC. Despite these advancements, none of these techniques consistently outperform others, and all investigated methods struggle in challenging tasks, such as those requiring professional knowledge, indicating significant scope for improvement. We believe this study can serve as a strong baseline and provide insights for eliciting confidence in black-box LLMs.

연구 동기 및 목표

• LLMs에 대해 모델 로짓이나 미세조정에 의존하지 않는 신뢰 elicitation 방법의 필요성을 제시하기 위해 닫힌 소스 API를 포함한 방법의 필요성을 동기화한다.
• 세 가지 패밀리의 방법—구두화(verbalized), 일관성 기반(consistency-based), 하이브리드(hybrid)—를 소개하고 포괄적인 벤치마킹 프레임워크를 설정한다.
• 이러한 방법들이 다양한 추론 과제와 모델 크기에 걸쳐 어떻게 성능을 발휘하는지 분석하여 강점, 약점, 개선 방향을 제시한다.
• LLM 신뢰 추정의 보정, 신뢰성, 실제 배치 고려사항에 대한 통찰을 제공한다.

제안 방법

• 신뢰 elicitation 방법의 세 가지 범주를 정의한다: 구두화(verbalized; 직접적으로 신뢰를 출력), 일관성 기반(consistency-based; 여러 응답을 사용해 신뢰를 추정), 하이브리드(hybrid; 두 신호를 결합).
• 다섯 개의 데이터셋에서 상식, 산술, 기호, 윤리 및 전문 지식 과제를 아우르는 네 가지 LLM(GPT-3, GPT-3.5, GPT-4, Vicuna)을 평가한다.
• 제로 튜닝, 로그/임베딩 접근 권한 없음의 접근 방식 사용; Chain-of-Thought(CoT), Top-K, 다단계 신뢰, 자기일관성(self-consistency), 유도일관성(induced-consistency), 하이브리드화와 같은 프롬프트 전략에 의존한다.
• 과제 간 신뢰 품질을 정량화하기 위해 보정(calibration) 및 실패 탐지 지표(ECE, AUROC, AUPRC-Positive, AUPRC-Negative)를 adopt한다.
• 구두화 신호와 일관성 신호의 집계를 통해 하이브리드 신뢰를 구성하여 각 신호만 사용하는 것보다 신뢰성을 향상시킨다.
• 구두화 프롬프트(바닐라, CoT 기반, 다단계, Top-K) 및 일관성 프롬프트(self-consistency, induced-consistency)와 하이브리드 방법용 프롬프트에 대한 세부 설정을 제시한다.

실험 결과

연구 질문

• RQ1 로짓이나 미세조정에 접근권한이 없는 상태에서 LLM이 불확실성을 표현할 수 있는 정도는 얼마나 되는가?
• RQ2 일관성 기반 접근법이 다양한 과제와 모델에서 바닐라 구두화 신뢰도보다 더 나은가?
• RQ3 구두화 신호와 일관성 신호를 결합한 하이브리드 접근법이 보정 및 실패 탐지 성능에서 우수한가?
• RQ4 전문 지식 과제에서 각 신뢰 elicitation 접근법의 작업-및 모델 의존적 강점과 한계는 무엇인가?

주요 결과

• 바닐라 구두화 신뢰는 모든 모델과 과제에서 과신하는 경향이 크다.
• CoT, Top-K, 다단계와 같은 프롬프트 전략은 구두화 신뢰의 보정을 개선하며, Top-K가 종종 가장 효과적이다.
• 일관성 기반 방법은 일반적으로 구두화 방법보다 우수하게 작동하며, 특히 산술 추론 과제에서 두드러진다.
• 하이브리드 방법은 많은 경우에 최첨단 성능을 달성하며, 20건 중 13건에서 베이스라인을 능가하고 실패 탐지 지표를 개선한다.
• 전문 지식이 필요한 도전적 과제에서는 모든 방법이 여전히 어려움을 겪어 향후 개선 여지가 있음.