[논문 리뷰] Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis

Li Du, Yequan Wang외 5명|arXiv (Cornell University)|2023. 09. 11.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 환각 현상 비율을 동시에 정량화하고 그 원인을 기저의 위험 요인에 따라 분석하기 위한 연관 분석 프레임워크를 제안한다. 교란 요인을 보정하며, 일반 지식 기억, 관계 추론 복잡도, 지시 이행 갈등이 환각의 주요 기여 요인임을 규명한다. 특히 GPT-4는 강력한 언어 모델링 능력과 인간의 지시 간 갈등으로 인해 높은 환각 비율을 보인다.

ABSTRACT

Although demonstrating superb performance on various NLP tasks, large language models (LLMs) still suffer from the hallucination problem, which threatens the reliability of LLMs. To measure the level of hallucination of LLMs, previous works first categorize the hallucination according to the phenomenon similarity, then quantify the proportion that model outputs contain hallucinatory contents. However, such hallucination rates could easily be distorted by confounders. Moreover, such hallucination rates could not reflect the reasons for the hallucination, as similar hallucinatory phenomena may originate from different sources. To address these issues, we propose to combine the hallucination level quantification and hallucination reason investigation through an association analysis, which builds the relationship between the hallucination rate of LLMs with a set of risk factors. In this way, we are able to observe the hallucination level under each value of each risk factor, examining the contribution and statistical significance of each risk factor, meanwhile excluding the confounding effect of other factors. Additionally, by recognizing the risk factors according to a taxonomy of model capability, we reveal a set of potential deficiencies in commonsense memorization, relational reasoning, and instruction following, which may further provide guidance for the pretraining and supervised fine-tuning process of LLMs to mitigate the hallucination.

연구 동기 및 목표

• 교란 요인의 영향을 받고 실험적 왜곡이 발생하며 원인을 설명하지 못하는 기존 환각 정량화 방법의 한계를 해결하기 위해.
• 통계적 연관 모델링을 활용해 환각 수준을 동시에 측정하고 특정 위험 요인에 기여도를 기여도를 부여하기 위해.
• 일반 지식 기억, 관계 추론, 지시 이행 등의 모델 능력 부족이 환각에 기여하는 바를 규명하기 위해.
• 모델의 환각에 취약한 능력 요소를 드러내어 사전 훈련 및 피니팅 과정을 안내하기 위해.

제안 방법

• 다중 위험 요인에 따라 환각 발생 확률을 회귀 기반 연관 분석을 통해 함수로 모델링하기 위해.
• 각 위험 요인의 고정 수준에서 환각 비율을 비교함으로써 교란 효과를 보정하기 위해.
• 엔티티 빈도, 관계 복잡도, 지시-언어 모델링 갈등 등을 포함한 모델 능력의 분류 체계를 기반으로 위험 요인을 정의하기 위해.
• 지시 이행 정밀도의 Proxy로 정답 출력과 환각 출력 간의 로그우도 차이를 사용하기 위해.
• c-NLI, Ruletaker 등 다양한 작업을 대상으로 방법을 적용하여 추론 및 지식 유형에 따라 환각을 평가하기 위해.
• 회귀 계수와 p-값을 통계적으로 평가하여 각 위험 요인의 유의성과 기여도를 분석하기 위해.

실험 결과

연구 질문

• RQ1 엔티티 빈도와 관계 복잡도와 같은 위험 요인의 수준에 따라 LLM의 환각 비율은 어떻게 변하는가?
• RQ2 언어 모델링 목표와 인간 지시 간 갈등은 환각에 얼마나 기여하는가?
• RQ3 일반 지식 기억, 관계 추론, 지시 이행 중 어느 모델 능력이 환각과 가장 강하게 연관되어 있는가?
• RQ4 데이터셋 구성의 교란 변수를 보정하면서 환각을 정량화하고 기여 요인에 기여도를 기여도를 부여할 수 있는가?

주요 결과

• LLM은 훈련 데이터에서 빈도가 낮은 엔티티와 관계에서 더 높은 환각 비율을 보이며, 희귀 지식에 대한 기억 능력 부족을 시사한다.
• 관계 추론 작업에서는 이론, 사실, 또는 논거의 수가 증가할수록 환각 비율이 크게 상승한다. 예를 들어 논거 수가 1단위 증가하면 환각 비율이 1.13배로 증가한다 (exp(0.12)).
• GPT-4는 U자형 환각 패턴을 보이며, 최첨단 성능임에도 불구하고 강력한 언어 모델링 능력과 인간 지시 간 갈등으로 인해 높은 환각 비율을 보인다.
• 반사적 문장에 대한 확률 감소는 환각 비율과 유의미하게 상관되어 있으며, 이는 강력한 언어 모델링이 지시 이행을 약화시킬 수 있음을 시사한다.
• 심지어 GPT-4도 복잡한 관계 추론 작업(예: Ruletaker)에서 정답 추론 및 답변 생성에 대해 57%의 정확도를 기록하며, 관계 추론 능력 향상의 지속적 과제를 드러낸다.
• 언어 모델링 목표와 인간 지시 간 갈등은 통계적으로 유의미한 위험 요소이며, GPT-4의 경우 계수는 0.11이다.