[논문 리뷰] AI Hallucinations: A Misnomer Worth Clarifying

Negar Maleki, Balaji Padmanabhan외 1명|arXiv (Cornell University)|2024. 01. 09.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 논문은 AI 환각 정의를 14개 데이터베이스에서 체계적으로 검토하여 보편적 정의가 없음을 밝히고 표준화된 용어 체계와 분류체계를 제안한다.

ABSTRACT

As large language models continue to advance in Artificial Intelligence (AI), text generation systems have been shown to suffer from a problematic phenomenon termed often as "hallucination." However, with AI's increasing presence across various domains including medicine, concerns have arisen regarding the use of the term itself. In this study, we conducted a systematic review to identify papers defining "AI hallucination" across fourteen databases. We present and analyze definitions obtained across all databases, categorize them based on their applications, and extract key points within each category. Our results highlight a lack of consistency in how the term is used, but also help identify several alternative terms in the literature. We discuss implications of these and call for a more unified effort to bring consistency to an important contemporary AI issue that can affect multiple domains significantly.

연구 동기 및 목표

• 다양한 영역과 데이터베이스에서 AI hallucination 용어가 어떻게 정의되는지 식별한다.
• 정의의 일관성을 평가하고 공통 특징과 대안을 식별한다.
• 정의를 수집하고 분류하여 AI-생성 콘텐츠 오류에 대한 통일된 용어를 제시한다.
• 교차 도메인 사용을 위한 형식적 정의와 강력한 분류체계로 가이던스를 제공한다.

제안 방법

• 2013년부터 2023년까지 14개 데이터베이스에서 AI/LLMs에서 AI hallucination 정의 논문을 폭넓게 검색한다.
• 검색된 각 논문을 수동으로 검토하여 정의와 맥락을 추출한다.
• 333개의 정의를 모아 부록에 요약한다.
• 적용 도메인별로 정의를 분류한다(예: 건강, 법률, 번역, 요약).
• 대체 용어를 식별하고 용어 표준화에 대한 함의를 논의한다.

실험 결과

연구 질문

• RQ1 서로 다른 도메인과 데이터베이스에 존재하는 AI hallucination 정의는 무엇인가?
• RQ2 이러한 정의의 일관성은 어떠하며, 무엇을 공유하거나 다르게 하는 특징이 있는가?
• RQ3 어떤 대체 용어가 사용되며, 명확성을 높이기 위해 통일된 분류체계를 어떻게 개발할 수 있는가?

주요 결과

• 문헌 전반에 걸쳐 AI hallucination에 대한 정확하고 보편적으로 받아들여지는 정의가 없다.
• 정의는 적용 분야에 따라 다르며 상충하거나 맥락 의존적일 수 있다.
• Table II 및 Table III은 도메인 전반에 걸쳐 AI hallucination을 설명하는 대체 용어와 핵심 포인트를 요약한다.
• 저자들은 2013–2023년의 333개 정의를 수집하고 전체 정의를 담은 부록을 제공한다.
• 최근 문헌에서 용어를 대체하거나 개명해 정신건강 연상 및 낙인을 피하려는 움직임이 있다.
• 본 논문은 교차 도메인 소통과 연구를 개선하기 위한 통일된 용어와 강력하고 형식적인 정의를 제안한다.