[논문 리뷰] Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach

L.Q. Liu, Yu Pan외 2명|arXiv (Cornell University)|2024. 04. 24.

Scientific Measurement and Uncertainty Evaluation인용 수 6

한 줄 요약

본 논문은 LLM의 불확실성 추정을 지도 학습 태스크로 정의하고, 숨겨진 활성화 및 확률 관련 특징을 활용하여 블랙박스, 그레이박스, 화이트박스 영역에서 불확실성 점수를 개선할 수 있게 한다. 또한 NLP 태스크에서 분포외(out-of-distribution) 설정으로의 전달 가능성을 시연한다.

ABSTRACT

In this paper, we study the problem of uncertainty estimation and calibration for LLMs. We begin by formulating the uncertainty estimation problem, a relevant yet underexplored area in existing literature. We then propose a supervised approach that leverages labeled datasets to estimate the uncertainty in LLMs' responses. Based on the formulation, we illustrate the difference between the uncertainty estimation for LLMs and that for standard ML models and explain why the hidden neurons of the LLMs may contain uncertainty information. Our designed approach demonstrates the benefits of utilizing hidden activations to enhance uncertainty estimation across various tasks and shows robust transferability in out-of-distribution settings. We distinguish the uncertainty estimation task from the uncertainty calibration task and show that better uncertainty estimation leads to better calibration performance. Furthermore, our method is easy to implement and adaptable to different levels of model accessibility including black box, grey box, and white box.

연구 동기 및 목표

• LLM의 불확실성 추정을 형식화하고 이를 표준 ML 불확실성 보정과 구별한다.
• 숨겨진 활성화 및 확률 기반 특징을 사용하여 LLM 응답 품질을 예측하는 간단한 지도 학습 방법을 제안한다.
• 은닉층 정보가 NLP 태스크 및 설정 전반에서 불확실성 추정 성능을 향상시킨다는 것을 보인다.
• 블랙박스, 그레이박스, 화이트박스 영역 전반에 걸친 접근법의 전이 가능성과 실용성을 입증한다.

제안 방법

• 프롬프트와 응답을 불확실성 점수로 매핑하는 불확실성 함수 g를 정의한다.
• 화이트박스(은닉층 활성화) 및 그레이박스(엔트로피/확률) 소스로부터 특징을 구성한다.
• 응답 품질 z로 라벨링된 데이터를 사용하여 불확실성 점수를 예측하는 지도 학습 모델을 학습한다.
• 모델 내부 정보 접근성에 따라 화이트박스, 그레이박스, 블랙박스의 세 가지 체계를 제시한다.
• 블랙박스 상황에서 특징 추출을 위해 다른 LLM을 활용할 수 있는 알고리즘적 사후 불확실성 추정 절차를 제시한다.

실험 결과

연구 질문

• RQ1 LLM의 불확실성 추정을 지도 학습 태스크로 어떻게 프레이밍할 수 있는가?
• RQ2 LLM의 숨겨진 활성화가 응답 불확실성 예측에 유용한 정보를 포함하는가?
• RQ3 제안된 지도 학습 접근법이 블랙박스, 그레이박스, 화이트박스 시나리오 및 다양한 태스크에 일반화될 수 있는가?
• RQ4 향상된 불확실성 추정과 보정 성능 간의 관계는 무엇인가?

주요 결과

• 은닉 활성화를 사용하면 질의응답, 객관식, 기계 번역 태스크 전반에서 불확실성 추정이 향상된다.
• 본 접근법은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 데이터에서도 효과적이다.
• 화이트박스와 그레이박스 체계가 내부 정보 및 라벨된 데이터를 활용하는 측면에서 블랙박스를 능가한다.
• 더 나은 불확실성 추정 모델은 더 나은 보정 성능을 낳는 경향이 있다.
• 이 방법은 구현이 실용적이며 서로 다른 수준의 모델 투명성에 적응 가능하다.