[논문 리뷰] Estimating the Hallucination Rate of Generative AI

Andrew Jesson, Nicolas Beltran-Velez외 6명|arXiv (Cornell University)|2024. 06. 11.

Mental Health Research Topics인용 수 4

한 줄 요약

이 논문은 사전 학습된 생성형 AI 모델이 문맥 내 학습(ICL) 환경에서 환각적 출력을 생성할 확률을 추정하기 위한 베이지안 방법인 후행 환각률(Posterior Hallucination Rate, PHR)을 제안한다. 모델의 예측 분포에서 샘플링하고 응답의 로그 확률을 평가함으로써, 외부 분류기나 작업별 조정 없이도 정확하고 불확실성 기반의 환각 위험 추정이 가능하며, Llama-2 모델을 사용하여 합성 및 자연어 작업에서 검증되었다.

ABSTRACT

This paper presents a method for estimating the hallucination rate for in-context learning (ICL) with generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and a prediction question and asked to generate a response. One interpretation of ICL assumes that the CGM computes the posterior predictive of an unknown Bayesian model, which implicitly defines a joint distribution over observable datasets and latent mechanisms. This joint distribution factorizes into two components: the model prior over mechanisms and the model likelihood of datasets given a mechanism. With this perspective, we define a hallucination as a generated response to the prediction question with low model likelihood given the mechanism. We develop a new method that takes an ICL problem and estimates the probability that a CGM will generate a hallucination. Our method only requires generating prediction questions and responses from the CGM and evaluating its response log probability. We empirically evaluate our method using large language models for synthetic regression and natural language ICL tasks.

연구 동기 및 목표

• 조건부 생성 모델(CGM)을 사용한 문맥 내 학습(ICL)에서 환각률을 추정하는 방법을 개발하는 것.
• ICL의 베이지안 해석에 기반하여, 진짜 잠재 매개변수 하에서 낮은 확률을 가지는 예측를 환각으로 정의하는 것.
• 모델 생성과 로그 확률 평가만을 요구하는 계산적으로 효율적인 추정기 개발.
• Llama-2 모델을 사용하여 합성 회귀 작업과 자연어 ICL 벤치마크에서 추정기의 유효성을 검증하는 것.
• PHR 추정기가 경험적 오차율과 강하게 상관되며, 지식적 불확실성(epistemic uncertainty)을 잘 포착한다는 것을 보여주는 것.

제안 방법

• CGM가 알려지지 않은 잠재 모델에 대한 후행 예측 분포에서 샘플링하는 방식으로 ICL을 베이지안 추론으로 공식화하는 것.
• 진짜 잠재 매개변수 하에서 낮은 가능도를 가지는 생성된 예측의 확률로 후행 환각률(PHR)을 정의하는 것.
• 문맥 완성의 몬테카를로 샘플링을 사용하고 생성된 응답의 로그 확률을 평가함으로써 유한 표본 추정기를 개발하는 것.
• 진짜 모델이나 외부 분류기 접근이 필요 없이 CGM의 예측 분포를 이용해 PHR을 추정하는 것.
• 합성 데이터와 자연어 작업을 사용하여 추정기를 검증하고, PHR을 경험적 오차율과 상호정보량(mutual information)과 비교하는 것.
• PHR이 상호정보량과 강하게 상관되며, 지식적 불확실성을 잘 포착한다는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 모델이 후행 예측 추론을 수행하는 것으로 간주할 때, 베이지안 프레임워크를 사용해 문맥 내 학습에서 환각률을 추정할 수 있는가?
• RQ2 제안된 PHR 추정기는 합성 회귀 작업에서 진짜 환각률을 얼마나 정확하게 예측할 수 있는가?
• RQ3 Llama-2 모델을 사용한 자연어 ICL 작업에서 PHR 추정기는 경험적 오차율과 상관관계가 있는가?
• RQ4 PHR 추정기는 문맥 길이, few-shot 예제 수, 모델 크기의 변동에 대해 강건한가?
• RQ5 PHR은 지식적 불확실성을 캡처하는 데 다른 불확실성 측정법(예: 상호정보량)과 어떻게 관련이 있는가?

주요 결과

• 20개의 몬테카를로 샘플과 100개의 y-샘플을 사용할 때, SST-2 벤치마크에서 PHR 추정기는 경험적 오차율과 강한 상관관계를 보이며 R² = 0.711을 기록했다.
• 합성 회귀 작업에서 PHR 추정기는 진짜 환각률을 정확히 예측했으며, 문맥 크기가 증가할수록 오차가著 감소했다.
• PHR은 상호정보량보다 진짜 환각률과 더 선형적인 관계를 보였으며, 이는 지식적 불확실성에 대한 보다 신뢰할 수 있는 측정법임을 시사한다.
• 모든 평가된 작업에서 상호정보량은 경험적 오차율과 PHR 모두와 유의미하게 상관관계가 있었으며, 이는 PHR이 불확실성의 대체 측정법으로서 타당함을 뒷받침한다.
• 몬테카를로 샘플과 y-샘플의 수를 늘일수록 PHR 추정기의 정확도가 향상되었으며, 생성된 예제 수나 모델 크기만 증가시킬 경우 성능이 악화되었다.
• PHR 추정기는 AG News, Medical QP, RTE, WNLI 등 여러 데이터셋에서 낮은 평균 절대 오차(MAE)를 기록하며 강력한 校정성(calibration)을 보였다.