[논문 리뷰] A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions

Lei Huang, Weijiang Yu외 9명|arXiv (Cornell University)|2023. 11. 09.

Text Readability and Simplification인용 수 207

한 줄 요약

본 고찰은 LLM 환각의 정교한 분류 체계를 제시하고, 데이터-학습-추론 원인을 분석하며, 탐지 벤치마크를 검토하고, 완화 방법을 제시합니다.

ABSTRACT

The emergence of large language models (LLMs) has marked a significant breakthrough in natural language processing (NLP), fueling a paradigm shift in information acquisition. Nevertheless, LLMs are prone to hallucination, generating plausible yet nonfactual content. This phenomenon raises significant concerns over the reliability of LLMs in real-world information retrieval (IR) systems and has attracted intensive research to detect and mitigate such hallucinations. Given the open-ended general-purpose attributes inherent to LLMs, LLM hallucinations present distinct challenges that diverge from prior task-specific models. This divergence highlights the urgency for a nuanced understanding and comprehensive overview of recent advances in LLM hallucinations. In this survey, we begin with an innovative taxonomy of hallucination in the era of LLM and then delve into the factors contributing to hallucinations. Subsequently, we present a thorough overview of hallucination detection methods and benchmarks. Our discussion then transfers to representative methodologies for mitigating LLM hallucinations. Additionally, we delve into the current limitations faced by retrieval-augmented LLMs in combating hallucinations, offering insights for developing more robust IR systems. Finally, we highlight the promising research directions on LLM hallucinations, including hallucination in large vision-language models and understanding of knowledge boundaries in LLM hallucinations.

연구 동기 및 목표

• 사실성(factuality)과 충실성(faithfulness)에 초점을 맞춘 LLM 환각에 대한 정교한 분류 체계를 정의하고 이를 정당화한다.
• 데이터, 학습, 추론 단계 전반에 걸친 환각의 근본 원인을 분석한다.
• LLM 환각에 대한 탐지 방법과 평가 벤치마크를 검토한다.
• 근본 원인 및 실용적 배포 고려사항을 다루는 완화 전략을 제시한다.
• 신뢰할 수 있는 LLM에서의 미해결 과제와 향후 연구 방향을 강조한다.

제안 방법

• 사실성 환각(일관성 부족, 조작)과 충실성 환각(지시, 맥락, 논리)을 하위 범주로 구분하는 계층적이고 세분화된 분류 체계를 제시한다.
• 환각 원인을 데이터 품질, 학습 역학, 추론/디코딩 과정과 연결하고 예시를 제시한다.
• 사실성 및 충실성 환각에 대한 기존 탐지 기법과 벤치마크를 조사한다.
• 데이터 향상, 편향 제거, 지식 경계 관리, 모델 편집, 검색 보강, 디코딩 개선 등을 포함한 포괄적 완화 전략을 개요한다.
• 제안된 분류 체계를 기존 고찰과 비교하여 응집적이고 원인 중심의 완화를 강조한다.

실험 결과

연구 질문

• RQ1 LLM 환각의 주요 범주는 무엇이며 이것들이 사실성 및 충실성과 어떻게 관련되는가?
• RQ2 LLM에서 환각을 유발하는 데이터, 학습, 추론 요인은 무엇인가?
• RQ3 환각을 어떻게 탐지하고 측정할 수 있으며 어떤 벤치마크가 존재하는가?
• RQ4 식별된 근본 원인에 가장 잘 대응하는 완화 전략은 무엇인가?

주요 결과

• 저자는 LLM 특유의 환각 현상을 포착하기 위해 명확한 하위 유형을 가진 두 가지 축의 분류 체계(사실성 대 충실성)를 정의한다.
• 데이터 관련 원인에는 잘못된 소스, 지식 경계, 열악한 데이터 활용이 포함되어 사실성 및 편향 문제를 초래한다.
• 학습 관련 원인에는 사전 학습, 정렬, 목표 관련 요인이 있어 환각을 유발하거나 완화하지 못할 수 있다.
• 추론 관련 원인은 출력 충실도에 영향을 주는 디코딩 무작위성, 표현, 맥락 주의에 초점을 맞춘다.
• 본 고찰은 사실성 및 충실성에 대한 다양한 탐지 방법과 벤치마크를 문서화하고 근본 원인에 맵핑된 완화 전략에 대해 논의한다.