[논문 리뷰] PhD: A ChatGPT-Prompted Visual hallucination Evaluation Dataset

Jiazhen Liu, Yuhan Fu외 6명|arXiv (Cornell University)|2024. 03. 17.

Hallucinations in medical conditionsNeuroscience인용 수 3

한 줄 요약

이 논문은 대규모 시각-언어 모델(LVLMs)에서 내재된 시각-언어 환영(IVL-Hallu)을 평가하기 위한 새로운 벤치마크 데이터셋인 PhD를 소개한다. 이는 물체, 특성, 다중모odal 갈등, 공통된 통념에 반하는 환영의 네 가지 유형으로 구성된 환영 유형의 분류 체계를 제안하며, 자동화된 프롬프트 기반 파이프라인을 통해 고품질이고 다양한 환영 인스턴스를 생성한다. 다섯 가지 최신 LVLM에 대한 광범위한 실험 결과, 모든 환영 유형에서 성능 저하가 심각하게 나타나, LLM의 사전 지식과 모odal 불균형으로 인한 환영에 대한 모델의 취약성을 드러낸다.

ABSTRACT

Multimodal Large Language Models (MLLMs) hallucinate, resulting in an emerging topic of visual hallucination evaluation (VHE). This paper contributes a ChatGPT-Prompted visual hallucination evaluation Dataset (PhD) for objective VHE at a large scale. The essence of VHE is to ask an MLLM questions about specific images to assess its susceptibility to hallucination. Depending on what to ask (objects, attributes, sentiment, etc.) and how the questions are asked, we structure PhD along two dimensions, i.e. task and mode. Five visual recognition tasks, ranging from low-level (object / attribute recognition) to middle-level (sentiment / position recognition and counting), are considered. Besides a normal visual QA mode, which we term PhD-base, PhD also asks questions with specious context (PhD-sec) or with incorrect context ({PhD-icc), or with AI-generated counter common sense images (PhD-ccs). We construct PhD by a ChatGPT-assisted semi-automated pipeline, encompassing four pivotal modules: task-specific hallucinatory item (hitem) selection, hitem-embedded question generation, specious / incorrect context generation, and counter-common-sense (CCS) image generation. With over 14k daily images, 750 CCS images and 102k VQA triplets in total, PhD reveals considerable variability in MLLMs' performance across various modes and tasks, offering valuable insights into the nature of hallucination. As such, PhD stands as a potent tool not only for VHE but may also play a significant role in the refinement of MLLMs.

연구 동기 및 목표

• LVLM에서 물체 환영을 초과하는 다양한 내재된 환영 유형에 대한 체계적인 평가 부족 문제를 해결하기 위해.
• 물체, 특성, 다중모달 갈등, 공통된 통념에 반하는 환영의 네 가지 구별되는 시각-언어 환영 유형을 식별하고 분류하기 위해.
• 이러한 카테고리 전반에 걸쳐 고품질이고 다양한 환영 데이터를 생성하기 위한 자동화된 프롬프트 기반 파이프라인 개발을 위해.
• 최신 LVLM의 이러한 환영 유형에 대한 내성적 저항력을 평가하고 실패의 근본 원인을 밝혀내기 위해.
• LLM 사전 지식과 모달 불균형의 역할을 드러내어 향후 환영 완화 연구의 기초를 마련하기 위해.

제안 방법

• LVLM 출력에 나타나는 원인과 반영을 바탕으로 물체, 특성, 다중모달 갈등, 공통된 통념에 반하는 환영의 네 가지 내재된 환영 유형의 분류 체계를 제안한다.
• 특정 환영 유형을 유도하기 위해 시각적 및 텍스트 입력을 조작하는 방식으로 체계적으로 환영 인스턴스를 생성하는 자동화된 프롬프트 기반 데이터 생성 파이프라인을 설계한다.
• 비슷하게 혼동하기 쉬운 물체-특성 조합(예: 금속 티포트 vs. 세라믹 티포트)을 사용하여 물체 및 특성 환영에 대한 고품질 환영 데이터를 생성한다.
• 이미지 내용과 모순되는 질문을 구성하여 다중모달 갈등 환영을 생성하며, Yes/No 형식과 개방형 형식을 모두 사용해 모델의 내성적 저항력을 테스트한다.
• 공통된 통념을 위반하는 이미지(예: 고양이보다 큰 쥐)와 LLM 기반 추론을 유도하는 텍스트 질문을 조합하여 공통된 통념에 반하는 환영을 구성한다.
• 영향력 있는 SOTA LVLM 다섯 종류(LaVVA, Qwen-VL 등)를 제안된 PhD 벤치마크에서 제로샷 및 피셔샷 설정을 사용해 평가하여 환영 비율과 성능 저하를 측정한다.

실험 결과

연구 질문

• RQ1 다양한 유형의 내재된 환영—물체, 특성, 다중모달 갈등, 공통된 통념에 반하는 환영—은 LVLM에서 어떻게 나타나는가?
• RQ2 최신 LVLM은 이 네 가지 카테고리의 환영을 얼마나 잘 탐지하고 피하는가?
• RQ3 모달 불균형과 LLM 사전 지식은 LVLM에서 환영 생성에 어떤 기여를 하는가?
• RQ4 시각적 입력과 텍스트 입력 간의 갈등이 발생할 때, 텍스트 프롬프트의 어조나 어조가 환영을 악화시키는 데 어떤 역할을 하는가?
• RQ5 자동화된 프롬프트 기반 데이터 생성은 LVLM의 내성적 저항력 평가를 위한 다양하고 고품질의 환영 인스턴스를 효과적으로 생성할 수 있는가?

주요 결과

• LLaVA는 개방형 다중모달 갈등 질문에서 성능이 89.3%에서 10.9%로 급격히 하락하여, 시각적 및 텍스트 입력 간 갈등이 발생할 때 비가능한 질문을 탐지하지 못하는 심각한 실패를 보였다.
• Qwen-VL은 다중모달 갈등 질문에 대해 더 높은 내성적 저항성을 보였으며, 이는 표적적 적대적 훈련 덕분일 가능성이 높아, 모델 아키텍처와 훈련 방식이 환영을 완화하는 데 기여할 수 있음을 시사한다.
• 특성 환영은 물체 환영보다 항상 낮은 성능을 보였으며, 이는 세밀한 특성 이해가 더 어렵고 오류 발생 가능성이 높다는 것을 시사한다.
• 공통된 통념에 반하는 환영은 강력한 환영 반응을 유도했으며, 이는 LLM이 일반적인 통념이 위반될 경우 이미지 내용이 아닌 내부 지식에 의존하는 경향이 있음을 확인한다.
• 텍스트 어조의 강도가 환영 비율에 큰 영향을 미쳤으며, 더 강한 텍스트 신호를 가진 프롬프트는 모델이 텍스트에 더 의존하게 만들고 이미지 내용과의 일치도를 낮춘다.
• 모든 다섯 종류의 SOTA LVLM이 네 가지 환영 유형 전반에서 심각한 환영 비율을 보였으며, 이는 모달 불균형과 LLM 사전 지식에 뿌리를 둔 근본적인 환영 취약성을 드러낸다.