[논문 리뷰] Engineering of Hallucination in Generative AI: It's not a Bug, it's a Feature

Tim Fingscheidt, Patrick Blumenberg외 1명|arXiv (Cornell University)|2026. 01. 11.

Artificial Intelligence in Healthcare and Education인용 수 0

한 줄 요약

이 논문은 생성 AI에서의 제어된 환각이 유익할 수 있으며, 원하는 결과를 위해 제한된 환각을 유도하는 간단한 확률 엔지니어링 기법을 제시한다.

ABSTRACT

Generative artificial intelligence (AI) is conquering our lives at lightning speed. Large language models such as ChatGPT answer our questions or write texts for us, large computer vision models such as GAIA-1 generate videos on the basis of text descriptions or continue prompted videos. These neural network models are trained using large amounts of text or video data, strictly according to the real data employed in training. However, there is a surprising observation: When we use these models, they only function satisfactorily when they are allowed a certain degree of fantasy (hallucination). While hallucination usually has a negative connotation in generative AI - after all, ChatGPT is expected to give a fact-based answer! - this article recapitulates some simple means of probability engineering that can be used to encourage generative AI to hallucinate to a limited extent and thus lead to the desired results. We have to ask ourselves: Is hallucination in gen-erative AI probably not a bug, but rather a feature?

연구 동기 및 목표

• 생성 AI에서의 환각이 단순한 결함이 아니라 유용한 기능이 될 수 있다는 관점을 제시한다.
• 제한된 환각을 유도하기 위한 간단한 확률 엔지니어링 방법을 제안한다.
• 환각이 텍스트 및 비디오 생성 시스템에서 바람직한 결과를 이끌어 낼 수 있는지 논의한다.

제안 방법

• 대형 언어 모델과 시각 모델에서의 환각에 대한 개념적 논의를 제시한다.
• 제한된 정도의 환각을 유도하기 위한 확률 엔지니어링 접근법을 설명한다.
• 특정 작업을 달성하기 위해 환각을 활용하는 데 필요한 실질적 고려사항을 개요로 제시한다.

실험 결과

연구 질문

• RQ1 생성 AI의 환각을 버그가 아닌 기능으로 활용할 수 있을까?
• RQ2 제어된 환각을 유도하는 간단한 확률 엔지니어링 기법은 무엇일까?
• RQ3 어떤 상황에서 환각이 AI 시스템의 바람직한 결과를 개선하거나 가능하게 하는가?

주요 결과

• 적절히 제한될 때 환각은 생성 AI에서 의도한 결과 달성에 기여할 수 있다.
• 간단한 확률 엔지니어링 기법으로 제한된 정도의 환각을 유도할 수 있다.
• 이 작업은 환각을 고유한 결함이 아니라 잠재적 설계 특징으로 간주한다.
• 토크 발표의 성찰에 기반한 논의이며 실용적 시사점을 요약한다.