[논문 리뷰] A Survey on Hallucination in Large Vision-Language Models

Hanchao Liu, Wenyuan Xue외 7명|arXiv (Cornell University)|2024. 02. 01.

Brain Tumor Detection and Classification인용 수 20

한 줄 요약

이 설문은 LVLM 환각을 정의하고, 증상을 목록화하며 평가 벤치마크와 완화 방법을 검토하고, 원인과 향후 방향을 논의한다.

ABSTRACT

Recent development of Large Vision-Language Models (LVLMs) has attracted growing attention within the AI landscape for its practical implementation potential. However, ``hallucination'', or more specifically, the misalignment between factual visual content and corresponding textual generation, poses a significant challenge of utilizing LVLMs. In this comprehensive survey, we dissect LVLM-related hallucinations in an attempt to establish an overview and facilitate future mitigation. Our scrutiny starts with a clarification of the concept of hallucinations in LVLMs, presenting a variety of hallucination symptoms and highlighting the unique challenges inherent in LVLM hallucinations. Subsequently, we outline the benchmarks and methodologies tailored specifically for evaluating hallucinations unique to LVLMs. Additionally, we delve into an investigation of the root causes of these hallucinations, encompassing insights from the training data and model components. We also critically review existing methods for mitigating hallucinations. The open questions and future directions pertaining to hallucinations within LVLMs are discussed to conclude this survey.

연구 동기 및 목표

• LVLM에서의 환각 개념을 명확히 하고 증상(판단 vs 묘사) 및 의미론적 측면(대상, 속성, 관계)을 분류한다.
• 비환각적 생성과 환각 구별을 위한 LVLM 특화 평가 방법 및 벤치마크를 검토한다.
• 데이터, 비전 인코더, 모달리티 정렬, LLM 구성 요소의 근본 원인을 분석하여 완화를 안내한다.
• 데이터 수집, 비전 인코더 확장, 연결 모듈 개선, 디코딩 최적화 및 후처리를 포함한 기존의 완화 접근법을 조사한다.
• 신뢰할 수 있는 LVLM을 발전시키기 위한 미해결 질문과 향후 방향을 논의한다.

제안 방법

• LVLM에서의 환각을 정의하고 증상의 분류 체계(대상, 속성, 관계; 판단 vs 묘사)를 제시한다.
• 비환각적 생성과 환각 구별로 평가 방법을 분류하되, 구별 가능 벤치마크와 생성 벤치마크를 함께 제시한다.
• 데이터 품질, 비전 인코더 한계, 모달리티 정렬, LLM 유도 요인에서의 원인을 요약한다.
• 데이터 큐레이션, 비전 인코더 확장 및 지각 향상, 개선된 연결 모듈, 디코딩 최적화, 후처리 등을 포함한 완화 전략을 검토한다.

실험 결과

연구 질문

• RQ1 LVLM에서 환각이 무엇인지, 이를 체계적으로 어떻게 분류할 수 있는가?
• RQ2 LVLM 환각은 어떻게 평가되며, 구별 및 생성 작업에 어떤 벤치마크가 존재하는가?
• RQ3 LVLM 환각을 야기하는 주요 데이터, 모델 및 통합 요인은 무엇인가?
• RQ4 데이터, 아키텍처, 디코딩 전반에 걸친 어떤 완화 전략이 환각에 효과적인가?

주요 결과

• LVLM의 환각은 단순한 객체 존재를 넘어 객체, 속성, 관계 오류를 포함한다.
• LVLM 환각 평가 방법은 비환각적 생성과 환각 구별로 나뉘며, 각각 구별적 및 생성적 벤치마크가 있다.
• 벤치마크는 크기와 지표가 다양하게 존재하며, 구별적 작업에서 객체 수준 평가에, 생성적 작업에서 더 넓은 환각 범주에 중점을 둔다.
• LVLM 환각의 원인은 데이터 편향과 주석 이슈, 비전 인코더의 한계, 모달리티 정렬의 차이, 및 맥락 주의 및 디코딩 무작위성과 같은 LLM 관련 요인에서 비롯된다.
• 완화 전략은 데이터 최적화, 비전 인코더 확장 및 지각 향상, 개선된 연결 모듈, 디코딩 차원 조정, 후처리 방법을 포함한다.
• 더 풍부한 감독, 다중 모달 통합, 에이전트로서의 LVLM, 해석 가능성에 초점을 맞춘 연구가 필요하므로 환각을 줄이는 방향으로 필요하다.