[논문 리뷰] Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models

Yue Zhang, Yafu Li외 14명|arXiv (Cornell University)|2023. 09. 03.

Topic Modeling인용 수 233

한 줄 요약

대형 언어 모델에서의 환각에 대한 포괄적 고찰로 정의, 벤치마크, 원인, 평가 방법, 그리고 모델 생애 주기에 걸친 완화 방안.

ABSTRACT

While large language models (LLMs) have demonstrated remarkable capabilities across a range of downstream tasks, a significant concern revolves around their propensity to exhibit hallucinations: LLMs occasionally generate content that diverges from the user input, contradicts previously generated context, or misaligns with established world knowledge. This phenomenon poses a substantial challenge to the reliability of LLMs in real-world scenarios. In this paper, we survey recent efforts on the detection, explanation, and mitigation of hallucination, with an emphasis on the unique challenges posed by LLMs. We present taxonomies of the LLM hallucination phenomena and evaluation benchmarks, analyze existing approaches aiming at mitigating LLM hallucination, and discuss potential directions for future research.

연구 동기 및 목표

• LLM 환각을 정의하고 세 가지 주요 유형(input-conflicting, context-conflicting, fact-conflicting)을 분류한다.
• LLM 환각 연구에 사용된 평가 벤치마크와 지표를 요약한다.
• LLM 생애 주기 전반의 환각 원인을 식별하고 완화 전략을 논의한다.
• 다른 단계(pre-training, fine-tuning, RLHF, 추론)에서의 완화 접근법을 검토하고 향후 방향을 제시한다.

제안 방법

• LLM 환각 유형의 분류 체계를 예시와 함께 제시한다 (input-, context-, fact-conflicting).
• 대표적인 벤치마크와 작업 형식(생성 vs. 차별)을 조사한다.
• 사전 학습 데이터, 지식 기억/추론 한계, 정렬, 생성 전략에서 환각의 원인을 분석한다.
• LLM 생애 주기에서의 시점별 완화 방법으로 분류한다 (사전 학습, 정렬/미세조정, 추론).
• 평가의 도전과제에 대해 논의하고 강력하고 자동화된 벤치마크의 필요성을 강조한다.

실험 결과

연구 질문

• RQ1 LLM 출력에서의 표준적 환각 유형은 무엇이며 어떻게 감지할 수 있는가?
• RQ2 태스크와 형식 전반에서 LLM 환각을 효과적으로 평가하는 벤치마크와 지표는 무엇인가?
• RQ3 LLM의 주요 환각 원인은 무엇이며 모델 생애 주기 전반에서 어떻게 완화를 효과적으로 적용할 수 있는가?

주요 결과

• LLM 환각은 입력 충돌, 맥락 충돌, 사실 충돌 유형으로 분류되며 예시와 논의가 있다.
• 생성 기반과 차별 기반 형식의 QA, TI, 텍스트 완성과 같은 작업에서 환각 평가를 위한 벤치마크가 다양하다.
• 환각 원천은 사전 학습 데이터 품질, 지식 기억 한계, 과신, 정렬 불일치, 생성 전략(토큰 수준 최적화) 등을 포함한다.
• 각 생애 주기 단계에서의 완화 전략을 논의하고 데이터 큐레이션, 정렬 개선, 프롬프트/추론 시점 기술을 강조한다.
• 본 고찰은 규모, 다재다능성, 자동 평가의 난이도 때문에 LLM 환각의 고유한 도전과제를 강조하며, 지속 연구를 위한 오픈 소스 자원을 지적한다.