Skip to main content
QUICK REVIEW

[论文解读] VIGIL: Tackling Hallucination Detection in Image Recontextualization

Joanna Wojciechowicz, Maria Łubniewska|arXiv (Cornell University)|Feb 16, 2026
Adversarial Robustness in Machine LearningComputer Science被引用 0
一句话总结

VIGIL 提出细粒度分类法和多阶段检测流程,用于多模态图像再情境化中的幻觉检测,并提供手工标注的 1,269 条样本基准。在类别特异的 F1 指标上优于基线,并提供可解释输出。

ABSTRACT

We introduce VIGIL (Visual Inconsistency & Generative In-context Lucidity), the first benchmark dataset and framework providing a fine-grained categorization of hallucinations in the multimodal image recontextualization task for large multimodal models (LMMs). While existing research often treats hallucinations as a uniform issue, our work addresses a significant gap in multimodal evaluation by decomposing these errors into five categories: pasted object hallucinations, background hallucinations, object omission, positional & logical inconsistencies, and physical law violations. To address these complexities, we propose a multi-stage detection pipeline. Our architecture processes recontextualized images through a series of specialized steps targeting object-level fidelity, background consistency, and omission detection, leveraging a coordinated ensemble of open-source models, whose effectiveness is demonstrated through extensive experimental evaluations. Our approach enables a deeper understanding of where the models fail with an explanation; thus, we fill a gap in the field, as no prior methods offer such categorization and decomposition for this task. To promote transparency and further exploration, we openly release VIGIL, along with the detection pipeline and benchmark code, through our GitHub repository: https://github.com/mlubneuskaya/vigil and Data repository: https://huggingface.co/datasets/joannaww/VIGIL.

研究动机与目标

  • 推动对多模态图像再情境化中细粒度幻觉评估的需求。
  • 创建手工标注的基准,以便诊断具体的错误模式。
  • 开发一个多阶段检测流程,提供对象级与背景级的解释。
  • 通过开源发布数据集、流程与代码,提升透明度。

提出的方法

  • 为再情境化任务定义五类幻觉的分类法。
  • 构建包含背景图像、对象参考、生成输出和手工标注的 1,269 条样本数据集。
  • 提出三阶段流程:对象提取(LLM + SAM 3 分割)、对象保真度验证(DINO v3 embeddings 与两分法匹配)、背景保真度验证(VLM 推理)。
  • 结合余弦相似度、匹配和基于 VLM/LLM 的判断来检测变体、遗漏和背景不一致。
  • 在基线 Vision-Language Model 上进行评估,并采用宏 F1 与 LLM 作为 Judge 的语义指标。
(a) Reference image of object 1.
(a) Reference image of object 1.

实验结果

研究问题

  • RQ1图像再情境化幻觉中的不同失败模式(分类法)有哪些?
  • RQ2相比端到端的 VLM 基线,分阶段流程是否能更准确地检测并描述幻觉?
  • RQ3对象级保真度和背景保真度如何共同作用于整体检测性能?
  • RQ4不同提示语和阈值如何影响跨类别的检测准确性?
  • RQ5在大多数类别中,VIGIL 相较 Gemini 2.5 Flash、Qwen3-VL-8B-Instruct 和 Gemma 3 27B IT 的表现如何?

主要发现

  • 所提出的 VIGIL 流程在多标签检测的类别间 Macro F1 得分高于基线。
  • 在服装与化妆品领域,VIGIL 相对于基线具有显著改进,并通过基于分类法的输出提高可解释性。
  • LLM-as-a-Judge 评估显示 VIGIL 在缺陷级语义对齐方面优于独立的基线。
  • 在大多数类别中,VIGIL 在 LLM-as-a-Judge 设置下优于独立的 Qwen-3-VL-8B-Instruct 和 Gemma-3-27B-IT 基线。
  • 研究表明分解的、任务特定的模块比单一的 VLM 检测器具有更强的性能。
  • 数据集显示 1,024 张带幻觉的图像(80.7%)和 245 张干净样本(19.3%),涵盖五个领域(服装、家具、化妆品、电子产品、汽车)。
(b) Reference image of object 2.
(b) Reference image of object 2.

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。