[论文解读] IBD: Alleviating Hallucinations in Large Vision-Language Models via Image-Biased Decoding

Lanyun Zhu, Deyi Ji+4 more|arXiv (Cornell University)|Feb 28, 2024

Hallucinations in medical conditions被引用 5

一句话总结

本论文提出 Image-Biased Decoding (IBD)，一种对比解码方法，通过将图像偏置预测器与标准模型进行对比，减少 LVLM 的幻觉，在几乎无参数开销的情况下提升真实性。

ABSTRACT

Despite achieving rapid developments and with widespread applications, Large Vision-Language Models (LVLMs) confront a serious challenge of being prone to generating hallucinations. An over-reliance on linguistic priors has been identified as a key factor leading to these hallucinations. In this paper, we propose to alleviate this problem by introducing a novel image-biased decoding (IBD) technique. Our method derives the next-token probability distribution by contrasting predictions from a conventional LVLM with those of an image-biased LVLM, thereby amplifying the correct information highly correlated with image content while mitigating the hallucinatory errors caused by excessive dependence on text. We further conduct a comprehensive statistical analysis to validate the reliability of our method, and design an adaptive adjustment strategy to achieve robust and flexible handling under varying conditions. Experimental results across multiple evaluation metrics verify that our method, despite not requiring additional training data and only with a minimal increase in model parameters, can significantly reduce hallucinations in LVLMs and enhance the truthfulness of the generated response.

研究动机与目标

• 为LVLM 的幻觉问题提供动机与解决路径，针对对语言先验的过度依赖所引发的问题。
• 开发一种解码时机制，在不重新训练模型的前提下强调图像内容。
• 引入对比解码框架，让图像偏置预测器与标准模型配对以改进标记选择。
• 提供统计与经验证据，展示在最小开销下对 LVLM 的幻觉减少与真实性提升。

提出的方法

• 通过在 QK 注意力计算中引入偏置系数 c，放大对图像 token 的注意力来构建一个图像偏置的 LVLM hatTheta，且不改变模型参数。
• 通过对原始模型 theta 与图像偏置模型 hatTheta 的预测进行对比，使用 L_CD = logit_hatTheta - logit_theta 来计算下一个 token 的 logits，并由 softmax(L_CD) 推导出 p(y_i | y_<i)。
• 假设从 theta 到 hatTheta 取得最高概率提升的 token 对内容词（非功能词）更可能是正确的。
• 引入一个动态调整机制，将标准最大似然解码与基于 CD 的调整进行混合，由自适应因子 I 与缩放参数 alpha 控制，以处理不同词类型与 theta 与 hatTheta 的相似性。
• 通过 (a) 通过轻量级提示调优（P）对 hatTheta 在 COCO 标注上进行微调，以及 (b) 自适应的可信度约束，将候选项限制为高概率 token 来提升 IBD。
• 给出包含 L_CD、动态加权以及候选头约束 V_head(y_<i) 的完整方法与方程。

实验结果

研究问题

• RQ1 相较基线解码策略，图像偏置解码是否能降低 LVLM 的幻觉？
• RQ2 由面向图像的预测器推导的对比解码分数是否能在避免功能词过度纠正的同时改善对内容词的标记选择？
• RQ3 动态调整与提示对 IBD 在不同 LVLM 与数据集上的鲁棒性有何影响？
• RQ4 图像偏置如何与模型对世界知识的结合互动，是否存在该方法的边界（如无害的文本偏见幻觉）？

主要发现

• IBD 在 CHAIR、GPT-4 辅助、GPT-4V 辅助评估中持续优于基线解码及多种针对幻觉的解码器。
• IBD 在 InstructBLIP、MiniGPT-4、LLaVA-1.5、Shikra 基线上实现更低的 CHAIR 分数（幻象对象更少）。
• 在参数开销极小（约额外 74K 提示参数）的情况下，IBD 相比 ReCaption、Woodpecker、CD、VCD、DoLa、OPERA 等，减少幻觉并提升真实性。
• 动态调整机制通过在功能词上偏向 MLE、在内容词或高度依赖图像的预测上利用 CD 来提升鲁棒性。
• 消融研究显示动态调整、提示微调与自适应可信约束对维持性能是必要的。
• IBD 在多种 LVLM 主干上，在 CHAIR、GPT-4 辅助、GPT-4V 辅助评估中获得最高或近最高的分数。