[논문 리뷰] A Survey of Hallucination in Large Foundation Models

Vipula Rawte, Amit Sheth외 1명|arXiv (Cornell University)|2023. 09. 12.

Complex Systems and Time Series Analysis인용 수 94

한 줄 요약

대형 기초 모델(LFMs)에서의 환각에 대한 포괄적 조사로 텍스트, 이미지, 비디오, 오디오를 다루며 유형, 평가, 탐지, 완화, 데이터셋 및 향후 방향을 자세히 설명한다.

ABSTRACT

Hallucination in a foundation model (FM) refers to the generation of content that strays from factual reality or includes fabricated information. This survey paper provides an extensive overview of recent efforts that aim to identify, elucidate, and tackle the problem of hallucination, with a particular focus on ``Large'' Foundation Models (LFMs). The paper classifies various types of hallucination phenomena that are specific to LFMs and establishes evaluation criteria for assessing the extent of hallucination. It also examines existing strategies for mitigating hallucination in LFMs and discusses potential directions for future research in this area. Essentially, the paper offers a comprehensive examination of the challenges and solutions related to hallucination in LFMs.

연구 동기 및 목표

• LFMs에서의 환각에 관한 기존 연구를 분류한다.
• 텍스트, 이미지, 비디오, 오디오 모달리티 전반에 걸친 LFMs를 검토한다.
• 탐지 방법, 완화 전략, 작업, 데이터셋 및 평가 지표를 요약한다.
• 향후 연구 방향과 오픈 소스 리소스를 제안한다.

제안 방법

• LFMs를 텍스트, 이미지, 비디오, 오디오의 네 가지 모달리티로 분류한다.
• 환각에 대한 탐지, 완화, 작업, 데이터셋 및 평가 지표를 검토한다.
• 특정 모달리티별 연구 및 데이터셋(HaluEval, Med-HALT, M-HalDetect 등)을 요약한다.
• 완화를 위한 프롬프트 활용, 외부 지식, 그라운딩, 데이터 증강 접근법을 강조한다.
• 자동화된 평가 및 체계화된 지식원 등 향후 방향을 제안한다.

Figure 2: The evolution of “hallucination” papers for Large Foundation Models (LFMs) from March 2023 to September 2023.

실험 결과

연구 질문

• RQ1 다른 모달리티에 걸쳐 LFMs에서 관찰되는 주요 환각 유형은 무엇인가?
• RQ2 환각을 줄이기 위해 LFMs에 대해 제안된 탐지 및 완화 전략은 무엇인가?
• RQ3 텍스트, 이미지, 비디오, 오디오에서 환각을 평가하는 데 사용되는 데이터셋과 평가 지표는 무엇인가?
• RQ4 LFMs에서 신뢰할 수 있는 환각 탐지 및 완화를 진전시킬 수 있는 향후 방향은 무엇인가?
• RQ5 도메인 특화 및 다국어 LFMs가 환각 프로필과 개선 방식에서 어떻게 다른가?

주요 결과

• 본 조사는 환각 유형의 분류 체계와 텍스트, 이미지, 비디오, 오디오의 교차 모달 개요를 제공한다.
• 이는 모달리티 전반에 걸친 탐지 방법, 완화 기술, 데이터셋 및 평가 지표를 체계적으로 정리한다.
• 주목할 만한 벤치마크와 데이터셋으로 HaluEval, Med-HALT, HALO, M-HalDetect, Lp-MusicCaps 등을 강조한다.
• 프롬프트 기반, 지식-그라운딩, 외부 지식 통합을 완화 방향으로 다룬다.
• 자동화된 평가, 지식 선별/정리, 윤리적 고려사항의 향후 연구 방향을 강조한다.

Figure 3: An illustration of hallucination Luo et al. ( 2023 ) . Incorrect information is highlighted in Red .