[论文解读] Holistic Analysis of Hallucination in GPT-4V(ision): Bias and Interference Challenges

Chenhang Cui, Yiyang Zhou+5 more|arXiv (Cornell University)|Nov 6, 2023

COVID-19 diagnosis using AI被引用 13

一句话总结

这篇论文引入了 Bingo 基准，用于分析 GPT-4V(ision) 和其他视觉-语言模型中的偏见与干扰驱动的幻觉，评估缓解尝试，并报告持续存在的挑战。

ABSTRACT

While GPT-4V(ision) impressively models both visual and textual information simultaneously, it's hallucination behavior has not been systematically assessed. To bridge this gap, we introduce a new benchmark, namely, the Bias and Interference Challenges in Visual Language Models (Bingo). This benchmark is designed to evaluate and shed light on the two common types of hallucinations in visual language models: bias and interference. Here, bias refers to the model's tendency to hallucinate certain types of responses, possibly due to imbalance in its training data. Interference pertains to scenarios where the judgment of GPT-4V(ision) can be disrupted due to how the text prompt is phrased or how the input image is presented. We identify a notable regional bias, whereby GPT-4V(ision) is better at interpreting Western images or images with English writing compared to images from other countries or containing text in other languages. Moreover, GPT-4V(ision) is vulnerable to leading questions and is often confused when interpreting multiple images together. Popular mitigation approaches, such as self-correction and chain-of-thought reasoning, are not effective in resolving these challenges. We also identified similar biases and interference vulnerabilities with LLaVA and Bard. Our results characterize the hallucination challenges in GPT-4V(ision) and state-of-the-art visual-language models, and highlight the need for new solutions. The Bingo benchmark is available at https://github.com/gzcch/Bingo.

研究动机与目标

• 识别并表征 GPT-4V(ision) 中幻觉的原因，聚焦于偏见与干扰。
• 创建一个全面基准（Bingo），覆盖区域、OCR 与事实内容中的失败与成功案例。
• 评估基于提示的缓解方法（自我纠正、连锁思维）对幻觉的影响。
• 在 Bingo 任务上比较 GPT-4V(ision) 与其他视觉-语言模型（LLaVA, Bard）。
• 讨论对鲁棒性及视觉-语言建模未来方向的启示。

提出的方法

• 构建 Bingo，包含 190 个失败实例和 131 个成功实例，将图像与一个或两个问题配对。
• 将偏见分类为区域偏见、OCR 偏见和事实偏见；将干扰分类为图像对图像干扰和文本对图像干扰。
• 使用人工注释（正确/错误）评估 GPT-4V(ision)，并报告各类别的准确性。
• 分析 LLaVA-1.5 与 Bard 的偏见与干扰，以作比较背景。
• 测试缓解方法，包括自我纠正提示和连锁思维提示，以评估对幻觉的影响。
• 提供定性示例并讨论当前缓解策略的局限性。

实验结果

研究问题

• RQ1 GPT-4V(ision) 与其他 VLMs 的幻觉的主要来源（偏见 vs 干扰）是什么？
• RQ2 区域偏见、OCR 偏见和事实偏见如何影响跨语言与区域的视觉-语言理解？
• RQ3 图像对图像干扰和文本对图像干扰如何影响模型对视觉提示的判断？
• RQ4 自我纠正或连锁思维提示是否缓解视觉-语言模型的幻觉？
• RQ5 在偏见与干扰方面，GPT-4V(ision)、LLaVA-1.5 与 Bard 在 Bingo 基准上的比较如何？

主要发现

• GPT-4V(ision) 显示区域偏见，在西方/全球图像上表现优于非西方图像。
• OCR 偏见已明显；图像中的 English 与 French 文本由于 OCR 检 detector 的局限性，相较于其他语言处理得更好。
• 存在事实偏见，模型依赖于已学到的事实而非图像证据，反事实案例导致高错误率。
• 当相似图像被分组在一起时，图像对图像干扰会显著降低性能。
• 文本对图像干扰使模型与用户主张对齐，而非图像内容（拍马屁）。
• 自我纠正使幻觉在各类别中减少约 16.56–16.9%，但仍有许多错误；连锁思维提示提供的收益有限或不一致。