[논문 리뷰] Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling

Bairu Hou, Yujian Liu외 4명|arXiv (Cornell University)|2023. 11. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 재학습 없이 대규모 언어 모델(Large Language Models, LLMs)의 불확실성을 데이터(알레아토릭) 불확실성과 모델(에피스테믹) 불확실성으로 분해할 수 있는 새로운 프레임워크인 입력 명확화 통합(Input Clarification Ensembling)을 제안한다. 입력에 대한 다수의 명확화 버전을 생성하고, LLM의 예측을 이들 간에 통합함으로써, 베이지안 신경망과 유사한 대칭적 불확실성 분해를 달성한다. 이는 다양한 벤치마크에서 정확하고 신뢰할 수 있는 불확실성 측정을 보여준다.

ABSTRACT

Uncertainty decomposition refers to the task of decomposing the total uncertainty of a predictive model into aleatoric (data) uncertainty, resulting from inherent randomness in the data-generating process, and epistemic (model) uncertainty, resulting from missing information in the model's training data. In large language models (LLMs) specifically, identifying sources of uncertainty is an important step toward improving reliability, trustworthiness, and interpretability, but remains an important open research question. In this paper, we introduce an uncertainty decomposition framework for LLMs, called input clarification ensembling, which can be applied to any pre-trained LLM. Our approach generates a set of clarifications for the input, feeds them into an LLM, and ensembles the corresponding predictions. We show that, when aleatoric uncertainty arises from ambiguity or under-specification in LLM inputs, this approach makes it possible to factor an (unclarified) LLM's predictions into separate aleatoric and epistemic terms, using a decomposition similar to the one employed by Bayesian neural networks. Empirical evaluations demonstrate that input clarification ensembling provides accurate and reliable uncertainty quantification on several language processing tasks. Code and data are available at https://github.com/UCSB-NLP-Chang/llm_uncertainty.

연구 동기 및 목표

• 블랙박스이자 대규모인 LLMs에 대한 효과적인 불확실성 분해 방법의 부족을 해결하기 위해.
• LLMs의 피니튜닝 또는 재학습 비용이 매우 높기 때문에, 베이지안 신경망에서처럼 다수의 모델 버전을 학습하는 것이 비현실적이라는 점을 극복하기 위해.
• 모델 파라미터 업데이트 없이 추론 시점의 입력 조작만을 이용해 총 불확실성을 데이터(알레아토릭) 불확실성과 모델(에피스테믹) 불확실성으로 분해하는 방법을 개발하기 위해.
• 실세계 응용에서 LLM의 신뢰성, 해석 가능성, 신뢰도를 향상시키기 위한 실용적인 불확실성 측정을 가능하게 하기 위해.

제안 방법

• 다른 명확화 모델을 활용해 애매한 입력을 재구성함으로써 다수의 입력 명확화 버전을 생성함으로써 데이터 불확실성을 감소시킨다.
• 각 명확화된 입력을 고정된 LLM에 입력하고, 모델의 예측을 통합하여 출력 분포를 추정한다.
• 베이지안 신경망과 유사한 대칭적 분해 구조를 활용하여, 명확화된 입력들 간의 예측 분산을 통해 모델 불확실성을 추정한다.
• 입력 명확화 후의 예측 분산을 데이터 불확실성으로 측정하고, 원본 입력의 나머지 분산에서 유도된 분산을 모델 불확실성으로 간주한다.
• 모델 파rameter 업데이트를 피하고, 사전 학습된 LLM에 대한 입력 수준의 변형과 추론 호출에만 의존한다.
• 명확화된 입력이 원래의 애매한 입력보다 더 낮은 데이터 불확실성을 가져야 한다는 조건을 점검하기 위해 단조성 검증을 수행한다.

Figure 1: Overview of the proposed uncertainty quantification method.

실험 결과

연구 질문

• RQ1 재학습 없이도 LLM의 불확실성을 데이터 불확실성과 모델 불확실성으로 효과적으로 분해할 수 있는가?
• RQ2 입력 명확화 통합이 베이지안 신경망의 대칭적 분해 구조와 일관된 불확실성 추정을 제공하는가?
• RQ3 제안된 방법은 애매한 입력을 신뢰성 있게 탐지하고, 명확화 기반의 통합을 통해 정답의 복구율을 향상시킬 수 있는가?
• RQ4 다양한 애매함 수준을 가진 데이터셋 간에 불확실성 분해 성능가 어떻게 달라지는가?
• RQ5 명확화 모델이 불확실성 측정 및 후속 작업 성능 향상에 어느 정도 기여하는가?

주요 결과

• 입력 명확화 이후 데이터 불확실성이 유의미하게 감소하여, 불확실성 분해의 단조성이 검증되었다.
• 애매함이 명시적으로 드러나는 AmbigInst 데이터셋에서는 명확화 모델이 효과적인 명확화를 생성하여 뛰어난 애매함 탐지 성능을 보였다.
• 더 미묘한 애매함을 포함하는 AmbigQA 데이터셋에서는 성능이 제한적이지만 여전히 불확실성 측정 향상 효과를 보였다.
• 명확화 수가 증가할수록 정답의 복구율이 일관되게 증가하여, LLM의 신뢰성 향상에 이 방법이 효과적임을 입증했다.
• 지식 기반의 불확실성 제거와 결합할 경우 성능 향상이 더욱 두드러졌으며, 이는 명확화 모듈의 가치를 확인시켰다.
• 명확화 없이 단순한 프롬프팅을 사용하는 것보다 프레임워크가 성능에서 뛰어나, 불확실성 인식 기반의 입력 통합이 정답 커버리지와 신뢰도를 향상시킨다.

Figure 2: Data uncertainty distribution on the AmbigQA (Min et al., 2020 ) dataset using the BNN method. We use kernel density estimation to smooth the frequency distribution histogram. BNN is achieved by ensembling different in-context examples.