[논문 리뷰] Detecting and Preventing Hallucinations in Large Vision Language Models

Anisha Gunjal, Jihan Yin외 1명|arXiv (Cornell University)|2023. 08. 11.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 시각질문응답(VQA)에 대한 16,000개의 서문문단(annotation)을 포함한 세분화된 다중모odal 환각 탐지 데이터셋인 M-HalDetect를 소개한다. 또한, FDPO(Fine-grained Direct Preference Optimization)와 best-of-n 기각 샘플링을 통한 보상 모델링을 제안하여 InstructBLIP에서 환각률을 각각 41%와 55% 감소시키며, LLaVA와 mPLUG-OWL로도 일반화하여 환각률을 각각 15%와 57% 감소시켰다.

ABSTRACT

Instruction tuned Large Vision Language Models (LVLMs) have significantly advanced in generalizing across a diverse set of multi-modal tasks, especially for Visual Question Answering (VQA). However, generating detailed responses that are visually grounded is still a challenging task for these models. We find that even the current state-of-the-art LVLMs (InstructBLIP) still contain a staggering 30 percent of the hallucinatory text in the form of non-existent objects, unfaithful descriptions, and inaccurate relationships. To address this, we introduce M-HalDetect, a (M)ultimodal (Hal)lucination (Detect)ion Dataset that can be used to train and benchmark models for hallucination detection and prevention. M-HalDetect consists of 16k fine-grained annotations on VQA examples, making it the first comprehensive multi-modal hallucination detection dataset for detailed image descriptions. Unlike previous work that only consider object hallucination, we additionally annotate both entity descriptions and relationships that are unfaithful. To demonstrate the potential of this dataset for hallucination prevention, we optimize InstructBLIP through our novel Fine-grained Direct Preference Optimization (FDPO). We also train fine-grained multi-modal reward models from InstructBLIP and evaluate their effectiveness with best-of-n rejection sampling. We perform human evaluation on both FDPO and rejection sampling, and find that they reduce hallucination rates in InstructBLIP by 41% and 55% respectively. We also find that our reward model generalizes to other multi-modal models, reducing hallucinations in LLaVA and mPLUG-OWL by 15% and 57% respectively, and has strong correlation with human evaluated accuracy scores.

연구 동기 및 목표

• 지시에 맞춰 튜닝된 대규모 시각언어모델(LVLMs)에서 지속적인 환각 문제, 특히 세밀한 이미지 기술에 초점을 맞춰 해결하고자 한다.
• 객체 수준 오류를 넘어서 부정확한 기술 및 관계까지 포함한, 더 포괄적인 세분화된 데이터셋을 구축하여 환각을 주석화하고자 한다.
• 새로운 데이터셋을 사용하여 LVLMs의 환각을 줄이기 위한 방법—FDPO와 보상 모델링—을 개발하고 평가하고자 한다.
• 보상 모델이 다양한 LVLMs, 특히 LLaVA와 mPLUG-OWL를 포함해 일반화되는지를 입증하고자 한다.
• 자동화된 보상 모델 점수와 인간 주석 기반의 환각 정확도 사이에 강한 상관관계를 확립하고자 한다.

제안 방법

• InstructBLIP의 VQA 응답에 대해 16,000개의 세분화된 주석을 포함한 M-HalDetect 데이터셋을 구축하며, 서문문단을 정확, 부정확, 분석으로 분류한다.
• 쌍별 선호 비교가 아닌 각 서문문단 주석을 사용하는 DPO의 변종인 세분화된 직접 선호 최적화(FDPO)를 개발한다.
• M-HalDetect를 사용해 문장 수준와 서문문단 수준의 다중모달 보상 모델을 훈련시켜 환각 가능성 평가를 수행한다.
• 훈련된 보상 모델을 사용해 InstructBLIP의 생성 결과 중 더 정확한 것을 선별하기 위해 best-of-n 기각 샘플링을 적용한다.
• 인간 평가를 통해 FDPO와 기각 샘플링의 성능을 평가하고, InstructBLIP, LLaVA, mPLUG-OWL를 포함한 여러 LVLM 간 성능을 비교한다.
• 보상 모델 점수와 인간 주석 기반 환각 정확도 사이의 상관관계를 측정하여, 모델의 평가 신뢰도를 검증한다.

Figure 1: Example Annotation from the M-HalDetect Dataset. The sub-sentences of text generated by multi-modal LM are tagged into categories: Accurate, Inaccurate , and Analysis .

실험 결과

연구 질문

• RQ1 세분화된 서문문단 수준의 환각 탐지 데이터셋은 LVLMs에서 환각 탐지 및 완화에 기여하는가?
• RQ2 세분화된 직접 선호 최적화(FDPO)는 세밀한 주석을 사용할 때 기존 DPO보다 환각을 더 효과적으로 줄이는가?
• RQ3 M-HalDetect에서 훈련된 보상 모델은 InstructBLIP 이외의 다른 LVLMs에서 환각을 얼마나 줄일 수 있는가?
• RQ4 자동화된 보상 모델 점수는 인간 주석 기반의 환각 정확도와 얼마나 잘 상관되는가?
• RQ5 보상 모델을 사용한 기각 샘플링은 다양한 LVLM 아키텍처 간 일반화가 가능한가, 그리고 환각률 감소에 효과적인가?

주요 결과

• FDPO는 고온 샘플링 조건에서도 기준 모델 대비 InstructBLIP의 환각률을 41% 감소시켰다.
• 보상 모델을 사용한 best-of-64 기각 샘플링은 InstructBLIP의 환각률을 55% 감소시켰다.
• 동일한 보상 모델은 best-of-16 샘플링을 통해 LLaVA의 환각률을 15% 감소시키고, mPLUG-OWL의 환각률을 57% 감소시켰다.
• 보상 모델 점수는 인간 주석 기반 정확도 점수와 강한 상관관계를 보이며, 자동 평가자로서의 효과성을 입증한다.
• FDPO는 원본 InstructBLIP의 고온 샘플링보다 우수한 성능을 보이며, 세분화된 감독이 생성의 충실도를 향상시킨다는 것을 시사한다.
• 보상 모델은 다양한 LVLMs 간 효과적으로 일반화되며, 훈련된 모델을 초월한 이식 가능성(transferability)을 입증한다.

Figure 3: Confusion Matrix comparison between Binary and Ternary Classifiers. The right plot represents the binary classifier labels derived from the ternary classifier by merging the Accurate and Analysis classes.