[논문 리뷰] Hallucination is Inevitable: An Innate Limitation of Large Language Models

Ziwei Xu, Sanjay Jain외 1명|arXiv (Cornell University)|2024. 01. 22.

Ferroelectric and Negative Capacitance Devices인용 수 151

한 줄 요약

본 논문은 계산 가능 세계에서 환각(hallucination)을 형식화하고, 계산 가능한 LLM에 대해 환각이 불가피하다는 것을 이론적 대각화(diagonalization) 주장과 실제 세계 작업에 대한 실증 검증으로 뒷받침하며, 완화 조치와 배치 시사점에 대해 논의한다.

ABSTRACT

Hallucination has been widely recognized to be a significant drawback for large language models (LLMs). There have been many works that attempt to reduce the extent of hallucination. These efforts have mostly been empirical so far, which cannot answer the fundamental question whether it can be completely eliminated. In this paper, we formalize the problem and show that it is impossible to eliminate hallucination in LLMs. Specifically, we define a formal world where hallucination is defined as inconsistencies between a computable LLM and a computable ground truth function. By employing results from learning theory, we show that LLMs cannot learn all the computable functions and will therefore inevitably hallucinate if used as general problem solvers. Since the formal world is a part of the real world which is much more complicated, hallucinations are also inevitable for real world LLMs. Furthermore, for real world LLMs constrained by provable time complexity, we describe the hallucination-prone tasks and empirically validate our claims. Finally, using the formal world framework, we discuss the possible mechanisms and efficacies of existing hallucination mitigators as well as the practical implications on the safe deployment of LLMs.

연구 동기 및 목표

• 정의: LLM을 위한 계산 가능한 세계에서 환각을 형식적으로 정의한다.
• 동기: 광범위한 조건 하에서 계산 가능한 LLM에 대해 환각이 피할 수 없는 것임을 증명한다.
• 연결성: 형식 결과를 실제 세계의 LLM 한계와 실용적 완화/배치 시사점과 연결한다.

제안 방법

• 알파벳, 문자열, 그리고 Prompt를 완성하는 총 계산 가능 함수로서의 LLM를 정의한다.
• 학습 f를 학습시키기 위한 Formal ground truth 함수 f와 학습 샘플 집합 T를 도입한다.
• 대각선을 적용하여 P-프로브 가능한 총 계산 가능 LLM의 모든 학습 가능한 f를 학습할 수 없음을 보이고, 그것이 환각으로 이어진다.
• 계산 가능 열거 가능한 집합과 모든 계산 가능 LLM에 일반화하여, 무한히 많은 입력에서 환각이 발생함을 보인다.
• 환각 완화자의 설계 및 안전한 배치에 대한 함의들을 논의한다.

실험 결과

연구 질문

• RQ1 계산 가능한 LLM이 형식 세계의 모든 입력에 대해 정답 함수 f를 완벽하게 재현하도록 학습할 수 있는가?
• RQ2 광범위한 클래스와 학습 조건 하에서 모든 계산 가능 LLM에 대해 환각은 피할 수 없는가?
• RQ3 실세계 배치와 완화자 설계에 대한 불가피한 환각의 실용적 시사점은 무엇인가?

주요 결과

• 환각은 증명 가능한 총 계산 가능한 LLM 집합에 대해 불가피한 것으로 보여진다.
• LLMs는 계산 가능 열거 가능한 LLM 집합에 대해 무한히 많은 입력에서 환각할 것이다.
• 任意의 계산 가능 LLM에 대해, LLM이 무한히 많은 입력에서 환각하는 computable ground-truth 함수 f가 존재한다.
• 다항 시간 제약과 고전 문제(예를 들어 NP-완전 문제)와의 상관 관계가 실무적 환각의 불가피성과 연결된다.
• 선정된 실제 문제들에서 환각이 발생하는 경향을 실증적으로 검증하여 형식적 결과를 뒷받침한다.
• 본 연구는 평가, 완화 전략, 배치 안전에 대한 결과의 영향을 논의한다.