[논문 리뷰] Do Language Models Know When They're Hallucinating References?

Ayush Agrawal, Suzgun, Mirac외 2명|arXiv (Cornell University)|2023. 05. 29.

Topic Modeling인용 수 23

한 줄 요약

본 논문은 언어 모델(LMs)의 오픈 도메인 환각 참조를 연구하고, 외부 데이터 없이 환각 여부를 탐지하기 위한 직접적/간접적 블랙박스 질의를 도입하며, 앙상블 방법이 모델 간 근거화 정확도를 향상시킨다는 점을 보인다. 또한 검색 엔진의 정답을 활용한 정량적 평가를 통해 모델과 탐지 방법을 비교한다.

ABSTRACT

State-of-the-art language models (LMs) are notoriously susceptible to generating hallucinated information. Such inaccurate outputs not only undermine the reliability of these models but also limit their use and raise serious concerns about misinformation and propaganda. In this work, we focus on hallucinated book and article references and present them as the "model organism" of language model hallucination research, due to their frequent and easy-to-discern nature. We posit that if a language model cites a particular reference in its output, then it should ideally possess sufficient information about its authors and content, among other relevant details. Using this basic insight, we illustrate that one can identify hallucinated references without ever consulting any external resources, by asking a set of direct or indirect queries to the language model about the references. These queries can be considered as "consistency checks." Our findings highlight that while LMs, including GPT-4, often produce inconsistent author lists for hallucinated references, they also often accurately recall the authors of real references. In this sense, the LM can be said to "know" when it is hallucinating references. Furthermore, these findings show how hallucinated references can be dissected to shed light on their nature. Replication code and results can be found at https://github.com/microsoft/hallucinated-references.

연구 동기 및 목표

• 최신 상태의 언어 모델에서 환각 참조의 발생률을 평가한다.
• 외부 자원 없이 생성된 참조가 근거가 있는지 환각인지를 판단하기 위한 블랙박스 직접 및 간접 질의 방법을 제안한다.
• 모델 규모에 따른 탐지 성능을 정량화하고 ROC, FDR 간의 트레이드를 분석한다.
• 생성 시간의 변화가 환각을 완화하는지 탐색하고 이를 줄이기 위한 가이드를 제공한다.

제안 방법

• 주제로부터 참조 제목 후보를 생성하기 위해 온도 1의 LM을 사용하여 주제당 5개의 참조를 생성한다.
• 각 후보 제목의 실제 근거 여부를 Bing 검색 결과를 통해 grounded 또는 hallucinated로 라벨링한다.
• 직접 질의(세 가지 템플릿)를 적용하여 j샘플에서 긍정적 완성의 수를 세어 근거 확률을 추정한다.
• 간접 질의(i>1 응답)를 적용하여 여러 개의 자유로운 응답을 얻고 중복 추정치를 통해 일관성을 측정한다.
• ROC 곡선과 FDR를 계산하고 IQ, DQ, IQ+DQ 앙상블을 형성하여 근거 여부 분류 정확도를 향상시킨다.

Figure 1 : Example direct vs. indirect LM queries for predicting whether a given paper title is hallucinated or grounded. Direct queries are binary, repeated multiple times to estimate a probability. Indirect queries are open-ended, and their answers are compared to one another, using the LM, to out

실험 결과

연구 질문

• RQ1 언어 모델 자체가 외부 데이터 없이 생성된 참조가 근거 있는지 환각인지를 신뢰할 수 있게 탐지할 수 있는가?
• RQ2 다른 모델 크기에 대해 어떤 질의 전략(직접, 간접, 또는 앙상블)이 가장 좋은 근거 탐지 성능을 보이는가?
• RQ3 탐지 방법은 잘못된 발견(false discoveries)과 근거가 있는 참조를 보존하는 것 사이에서 어떤 트레이드를 가지는가?
• RQ4 생성 시간 조정(및 모델 크기)이 환각 참조의 발생에 영향을 미치는가?

주요 결과

• 신형 모델은 근거화 비율이 높아(환각이 낮아지지만) GPT-4, ChatGPT, GPT-3 전반에서 여전히 상당한 환각이 발생한다.
• 직접 질의와 간접 질의 방법은 측정 가능한 AUC로 환각을 분류할 수 있으며 모델 크기가 커질수록 성능이 향상된다(GPT-4가 IQ 및 DQ에서 최상).
• GPT-3 및 ChatGPT의 경우 간접 질의가 일반적으로 직접 질의보다 성능이 좋고, GPT-4는 두 접근법에서 모두 이점을 보이며, IQ+DQ 앙상블이 모든 모델에서 최고 성능을 제공한다.
• 웹 검색(Bing)을 통한 실제 정답 라벨링은 근거성의 실용적 프록시이며 환각률 평가를 뒷받침한다.
• 여러 방법의 앙상블(IQ+DQ)이 단일 방법보다 더 높은 정확도를 제공하며, FDR과 참조 유지 간의 트레이드오프가 있다.

Figure 2 : The prompt used to generate $k=5$ reference titles. This method generates both grounded and hallucinated references. Topics are chosen from the ACM Computing Classification System.