[논문 리뷰] Large language model validity via enhanced conformal prediction methods

John J. Cherian, Isaac Gibbs외 1명|arXiv (Cornell University)|2024. 06. 14.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 조건부 콫라멘탈 예측과 적응형 신뢰 수준을 도입하여 대규모 언어 모델(LLM) 출력의 타당성과 유용성을 향상시키기 위한 향상된 콕라멘탈 예측 방법을 제안한다. 또한, 다양한 주제에서 조건부 타당성 보장을 확보하면서도 이전 방법보다 훨씬 더 많은 정확한 진술을 유지한다.

ABSTRACT

We develop new conformal inference methods for obtaining validity guarantees on the output of large language models (LLMs). Prior work in conformal language modeling identifies a subset of the text that satisfies a high-probability guarantee of correctness. These methods work by filtering claims from the LLM's original response if a scoring function evaluated on the claim fails to exceed a threshold calibrated via split conformal prediction. Existing methods in this area suffer from two deficiencies. First, the guarantee stated is not conditionally valid. The trustworthiness of the filtering step may vary based on the topic of the response. Second, because the scoring function is imperfect, the filtering step can remove many valuable and accurate claims. We address both of these challenges via two new conformal methods. First, we generalize the conditional conformal procedure of Gibbs et al. (2023) in order to adaptively issue weaker guarantees when they are required to preserve the utility of the output. Second, we show how to systematically improve the quality of the scoring function via a novel algorithm for differentiating through the conditional conformal procedure. We demonstrate the efficacy of our approach on biography and medical question-answering datasets.

연구 동기 및 목표

• 기존의 LLM을 위한 콕라멘탈 예측 방법에서 조건부 타당성이 부족하여 자원이 적거나 드문 주제에서 신뢰할 수 없는 보장을 초래하는 문제를 해결하기 위해.
• 이전의 콕라멘탈 사실성 방법에서 완벽하지 않은 점수 함수로 인해 정확한 진술이 과도하게 걸러지는 문제를 줄이기 위해.
• 적어도 70%의 진술을 유지하면서도 높은 사실성 정확도 보장을 유지할 수 있도록 적응형으로 신뢰 수준을 선택하는 방법을 개발하기 위해.
• 콕라멘탈 예측 파이프라인 내에서 엔드 투 엔드 최적화를 통해 점수 함수를 향상시키기 위한 미분 가능한 프레임워크를 도입하기 위해.
• 합성 및 실세계 데이터셋(위키백과 생애사전 및 질의응답 작업 포함)에서 실험적으로 방법을 검증하기 위해.

제안 방법

• 논문은 조건부 콕라멘탈 예측을 일반화하여, 입력에 따라 적응형 신뢰 수준을 허용한다. 이 수준은 타당성을 유지하면서도 진술 유지율을 극대화하기 위해 각 입력에 대해 선택된다.
• 콕라멘탈 예측 절차를 통해 역전파를 수행함으로써 점수 함수를 최적화하는 미분 가능한 알고리즘을 도입하여, 점수와 사실성 정확도 간의 일치를 향상시킨다.
• 교정용 데이터셋으로 프롬프트-응답-진술-annotation 튜플을 사용하여 점수 함수와 콕라멘탈 임계치를 학습하고 校정한다.
• 각 입력에 대해, 거짓 진술이 포함될 확률이 사용자가 정의한 임계값 이하로 제한되도록 보장하는 신뢰 수준을 계산하며, 이 수준은 유지된 진술 수를 극대화하기 위해 선택된다.
• 점수 함수는 잘못된 진술에 대해 보상하고 진술이 참일 경우 높은 점수를 유도하는 미분 가능한 손실 함수를 통해 개선되며, 콕라멘탈 예측 과정에서 유도된 기울기를 활용한다.
• 자기 평가 방법과 검색 증강 생성(RAG)을 사용하여 인간의 애너테이션 없이도 진술의 사실성을 추정하는 프레임워크를 구현한다.

Figure 1: The left panel displays the output of GPT-3.5-Turbo for the prompt “How often is a shingles vaccine required?” The first filtered output (center) is calibrated using the frequency score described in Section D.1 . The second filtered output (right) is calibrated using a score obtained via c

실험 결과

연구 질문

• RQ1 콕라멘탈 예측이 모든 프롬프트에 걸쳐 근본적으로 유효한 것이 아니라, 입력 주제에 따라 변하는 조건부 타당성 보장을 제공하도록 적응시킬 수 있는가?
• RQ2 점수 함수의 미분 가능한 최적화가 LLM에서 콕라멘탈 필터링의 유용성에 얼마나 기여하는가?
• RQ3 적응형 신뢰 수준 선택은 높은 사실성 정확도 보장을 유지하면서도 진술 유지율에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 낮은 인기 주제와 높은 인기 주제 모두에서 커버리지 정확도와 진술 유지율 측면에서 근본적인 콕라멘탈 예측보다 뛰어나게 성능을 발휘하는가?
• RQ5 표준 방법이 실패하는 드문 또는 대표되지 않는 주제에서, 이 방법이 강력한 사실성 타당성을 유지할 수 있는가?

주요 결과

• 제안된 수준 적응형 방법은 평균적으로 63%의 신뢰 수준을 확보하며, 이는 최소 70%의 진술을 유지하도록 선택된 것으로, 고정 수준 방법보다 뚜렷이 뛰어나다. 고정 수준 방법은 더 높은 임계치를 요구하여 더 많은 콘텐츠를 제거한다.
• 위키백과 생애사전 데이터셋에서, 이 방법은 평균적으로 80%의 진술을 유지하면서도 한 생애사전당 평균 3건 이하의 사실 오류를 유지하여 높은 유용성과 타당성을 입증한다.
• 조건부 콕라멘탈 방법은 모든 주제 인기도 밴드에서 안정적인 커버리지를 보였지만, Mohri와 Hashimoto [19]의 근본적 방법은 특히 시청 수가 적은 기사에서 커버리지가 변동성이 있었다.
• 고정된 10% 유의수준에서, 강화된 점수 함수는 강화되지 않은 점수 대비 15–20%의 진술 유지율 향상을 보였으며, 100개의 교정-테스트 분할에서 상자 그림(Boxplots)을 통해 일관된 성과 향상이 관찰되었다.
• 모든 시청 수 밴드에서 이 방법은 명목 수준에 대해 2.5% 이내의 정확한 커버리지를 유지하여 조건부 타당성을 확인했고, 반면 근본적 방법은 드문 주제에서 최대 15%의 커버리지 오류를 보였다.
• 합성 실험에서, 이 방법은 목표 신뢰 수준으로 정확히 校정되었으며 높은 진술 유용성도 유지하여 분포 이질성에 대한 강건성을 입증했다.

Figure 2: Empirical demonstration of our methods. The panels display results for our conditional boosting and level-adaptive methods. We aim to issue outputs with $0$ factual errors, and for the latter method, we choose the level with the objective of retaining at least 70% of the original claims in