[논문 리뷰] LLMs Will Always Hallucinate, and We Need to Live With This

Sourav Banerjee, Ayushi Agarwal외 1명|arXiv (Cornell University)|2024. 09. 09.

Legal Education and Practice Innovations인용 수 24

한 줄 요약

본 논문은 환각이 LLM의 수학적·논리적 기초에 뿌리 내린 본질적이고 구조적인 특징이며, 아키텍처나 데이터만으로는 제거될 수 없다고 주장한다.

ABSTRACT

As Large Language Models become more ubiquitous across domains, it becomes important to examine their inherent limitations critically. This work argues that hallucinations in language models are not just occasional errors but an inevitable feature of these systems. We demonstrate that hallucinations stem from the fundamental mathematical and logical structure of LLMs. It is, therefore, impossible to eliminate them through architectural improvements, dataset enhancements, or fact-checking mechanisms. Our analysis draws on computational theory and Godel's First Incompleteness Theorem, which references the undecidability of problems like the Halting, Emptiness, and Acceptance Problems. We demonstrate that every stage of the LLM process-from training data compilation to fact retrieval, intent classification, and text generation-will have a non-zero probability of producing hallucinations. This work introduces the concept of Structural Hallucination as an intrinsic nature of these systems. By establishing the mathematical certainty of hallucinations, we challenge the prevailing notion that they can be fully mitigated.

연구 동기 및 목표

• 환각을 LLM에 고유한 특성으로 설정함으로써 LLM 한계에 대한 비판적 검토를 촉진한다.
• Structural Hallucinations라는 개념을 모델의 고유한 속성으로 정의하고 형식화한다.
• 훈련, 검색, 해석 및 생성 단계가 0에 미치지 않는 환각 위험에 어떻게 기여하는지 분석한다.
• 모델 수명 주기 전체(훈련, 의도 분류, 정보 검색, 출력 생성)에 걸친 완화 전략을 제안하고 검토한다.

제안 방법

• LLM 생성이 토큰 수준 가능도들의 산물이라는 형식적 관점을 제시한다.
• LLM 맥락에서 Undecidability 결과의 결과로서 Structural Hallucinations를 도입하고 설명한다 (예: Halting, Emptiness, Acceptance).
• 주의(attention)에 대한 대안 아키텍처를 조사하고 (예: Mamba, Jamba, KANs) 장기 컨텍스트 모델링에 대한 시사점을 논의한다.
• 실용적 완화책으로서 전이 학습 및 파라미터 효율적 미세 조정(Adapters, BitFit, LoRA) 접근법을 설명한다.
• 출력을 지지하는 근거를 제공하는 Retrieval-Augmented Generation (RAG) 및 그 역할을 설명한다.
• 생성 후 보조 도구로서 불확실성 정량화 및 충실도 설명을 논의한다.

실험 결과

연구 질문

• RQ1 환각이 LLM의 수학적·논리적 구조의 고유한 속성으로 피할 수 있는가, 아니면 intrinsic한 특성인가?
• RQ2 훈련, 의도 분류, 정보 검색, 출력 생성, 포스트-생성 검사 등 LLM 파이프라인의 어떤 단계에서 환각이 발생하고 어떻게 완화할 수 있는가?
• RQ3 환각을 줄일 수는 있지만 제거하지는 못하는 대체 아키텍처나 훈련 패러다임은 무엇인가?
• RQ4 검색, 불확실성 정량화, 설명 가능성 방법이 실제로 환각의 영향을 Meaningfully 줄일 수 있는가?

주요 결과

• 환각은 학습 데이터의 내재적 불결정성과 검색/분류/생성 프로세스에서의 불완전성으로 인해 피할 수 없다고 주장된다.
• Structural Hallucinations는 데이터 품질뿐만 아니라 LLM의 핵심 구조에서 발생하는 환각을 설명하는 형식적 범주로 제안된다.
• Chain-of-Thought 프롬프트, self-consistency, 불확실성 정량화, RAG, PEFT 방법 등 다양한 완화 전략이 검토되지만 환각의 제거를 보장하지는 않는다.
• 대체 아키텍처와 모델(Mamba, Jamba, KANs)이 효율성 및 컨텍스트 처리의 잠재적 경로로 논의되지만 근본적인 문제를 제거하지는 않는다.
• 생성 후 점검과 충실한 설명은 사용자들이 환각을 식별하는 데 도움이 되도록 제안되지만 완전히 예방할 수는 없다.