[논문 리뷰] What Large Language Models Know and What People Think They Know

Mark Steyvers, Heliodoro Tejeda외 6명|arXiv (Cornell University)|2024. 01. 24.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 다중 선택 문제 해결 과제에서 대규모 언어 모델(Large Language Models, LLMs)의 내부 신뢰도와 인간 사용자가 그 신뢰도를 인지하는 방식 사이의 校정 갭(calibration gap)을 조사한다. 내부 신뢰도 수준을 반영하도록 맞춤형 프롬프트를 사용해 LLM의 설명을 수정함으로써 연구자들은 사용자가 모델의 신뢰성에 대해 더 정확하게 평가할 수 있도록 유도했으며, 이는 과신을 줄이고 AI 출력에 대한 신뢰를 향상시켰다.

ABSTRACT

As artificial intelligence (AI) systems, particularly large language models (LLMs), become increasingly integrated into decision-making processes, the ability to trust their outputs is crucial. To earn human trust, LLMs must be well calibrated such that they can accurately assess and communicate the likelihood of their predictions being correct. Whereas recent work has focused on LLMs' internal confidence, less is understood about how effectively they convey uncertainty to users. Here we explore the calibration gap, which refers to the difference between human confidence in LLM-generated answers and the models' actual confidence, and the discrimination gap, which reflects how well humans and models can distinguish between correct and incorrect answers. Our experiments with multiple-choice and short-answer questions reveal that users tend to overestimate the accuracy of LLM responses when provided with default explanations. Moreover, longer explanations increased user confidence, even when the extra length did not improve answer accuracy. By adjusting LLM explanations to better reflect the models' internal confidence, both the calibration gap and the discrimination gap narrowed, significantly improving user perception of LLM accuracy. These findings underscore the importance of accurate uncertainty communication and highlight the effect of explanation length in influencing user trust in AI-assisted decision-making environments. Code and Data can be found at https://osf.io/y7pr6/ . Journal publication can be found on Nature Machine Intelligence at https://www.nature.com/articles/s42256-024-00976-7 .

연구 동기 및 목표

• LLM의 응답에서 내부 신뢰도와 인간 사용자가 그 신뢰도를 인지하는 방식 사이의 격차를 조사하는 것.
• 설명 스타일을 수정함으로써 인간이 LLM 출력에 대한 자신감을 향상시킬 수 있는지 검토하는 것.
• 모델의 신뢰도 인지 설명이 사용자가 정답과 오답을 어떻게 구분하는지에 미치는 영향을 평가하는 것.
• 자기 평가 전문성 수준이 사용자가 LLM의 신뢰성에 대해 정확하게 판단할 수 있는 능력에 영향을 미치는지 평가하는 것.
• 사용자가 LLM의 신뢰도를 인지하는 방식을 모델의 실제 내부 신뢰도와 일치시키는 방법을 개발하고 테스트하는 것.

제안 방법

• MMLU 데이터셋을 사용해 행동 실험을 수행하여 참가자들에게 다중 선택 문제와 해당 LLM 응답을 제시함.
• 각 LLM 응답에 대해 인간의 신뢰도 추정치(확률로 표현)를 수집함으로써 사용자가 답변의 정확도를 얼마나 믿는지 측정함.
• 두 가지 다른 프롬프팅 전략을 사용해 LLM 설명을 생성함: 기본 설명과 내부 모델 신뢰도를 반영한 신뢰도 수정 설명.
• 내부 확신 수준을 반영하도록 신뢰도 수정 프롬프트를 사용하여 낮은 신뢰도(예: '확실하지 않다...')에서 높은 신뢰도(예: '확신한다...')까지 다양한 수준의 설명을 생성함.
• GPT-3.5와 PaLM2 등의 다양한 LLM에서 설명 유형과 사용자 정확도 추정 및 분류 성능(AUC)을 비교함.
• 자기 평가 전문성의 영향을 사용자 신뢰도 보정 및 분류 성능에 대해 분석함.

Figure 1 : Overview of the evaluation methodology for assessing the calibration gap between model confidence and human confidence in the model. The approach works as follows: (1) prompt the LLM with a multiple-choice question to obtain the model’s internal confidence for each answer choice; (2) sele

실험 결과

연구 질문

• RQ1 LLM의 내부 신뢰도와 인간이 LLM의 신뢰성에 대해 인지하는 방식 사이의 校정 갭은 얼마나 큰가?
• RQ2 LLM의 내부 신뢰도를 반영하도록 설명을 맞춤화하면 인간이 LLM 출력에 대한 자신감이 향상되는가?
• RQ3 신뢰도 수정된 설명은 사용자가 LLM이 생성한 답변에 대해 과신하는 경향을 줄일 수 있는가?
• RQ4 자기 평가 전문성이 사용자가 LLM 성능을 정확하게 판단하는 능력에 영향을 미치는가?
• RQ5 GPT-3.5와 PaLM2와 같은 다양한 LLM 간 사용자 신뢰도 보정 능력은 어떻게 비교되는가?

주요 결과

• 기본 설명을 사용할 경우 사용자들은 특히 잘못된 답변에 대해 LLM 응답의 정확도를 과도하게 평가하는 경향을 보였다.
• LLM의 내부 신뢰도를 반영하도록 설명을 맞춤화한 결과, 사용자의 자신감 추정치가 모델의 실제 신뢰도 수준과 더 잘 일치하는 보정이 크게 향상되었으며, 이는 보다 정확한 평가를 가능케 했다.
• 신뢰도 수정된 설명을 사용할 경우 정답과 오답을 구분하는 데 사용자의 AUC가 향상되어 사용자가 더 잘 분류할 수 있었음을 시사한다.
• GPT-3.5와 PaLM2 양쪽 모두에서 사용자 신뢰도 보정 향상 효과가 일관되게 관찰되어, 이 방법의 강건성을 입증했다.
• 자기 평가 전문성은 사용자가 LLM 정확도를 추정하거나 정답과 오답을 구분하는 능력에 유의미한 영향을 미치지 않았다.
• 기본 설정에서는 校정 갭이 상당히 커, 사용자들이 모델 신뢰도 수준보다 높은 자신감을 잘못된 답변에 부여하는 경향이 있었다.

(a) Phase 1