[论文解读] EventHallusion: Diagnosing Event Hallucinations in Video LLMs

Jiacheng Zhang, Yang Jiao+6 more|arXiv (Cornell University)|Sep 25, 2024

Physical Unclonable Functions (PUFs) and Hardware Security被引用 4

一句话总结

本文提出 EventHallusion，一个用于诊断由模型先验引发的视频大语言模型（Video LLM）中事件幻觉的新基准，并提出一种轻量级方法——时序对比解码（Temporal Contrastive Decoding, TCD），通过在解码过程中对比原始视频与时间顺序被打乱的视频输入，提升推理能力。TCD 显著减少了开源 VideoLLM 中的幻觉现象，尤其在罕见或具有误导性的事件场景中表现突出，而闭源模型则展现出更强的内在鲁棒性。

ABSTRACT

Recently, Multimodal Large Language Models (MLLMs) have made significant progress in the video comprehension field. Despite remarkable content reasoning and instruction following capabilities they demonstrated, the hallucination problem of these VideoLLMs is less explored compared with its counterpart in the image domain. To mitigate this gap, we propose EventHallusion, a novel benchmark that focuses on assessing the VideoLLMs' hallucination toward event, the crux of video analysis. From a hallucination attribution perspective, our EventHallusion benchmark is curated to assess a VideoLLM's susceptibility toward language priors and vision-language biases. On the other hand, we also propose a simple yet effective method, called Temporal Contrastive Decoding (TCD), to tackle the hallucination problems of VideoLLMs. The proposed TCD method rectifies the model's bias toward its priors during the decoding stage by comparing the original video with a modified version, in which temporal cues are disrupted. Through comprehensive evaluation of eight open-source and two closed-source VideoLLMs on the proposed EventHallusion benchmark, we observe that the open-source models suffer significantly from hallucination problems, whereas the closed-source ones perform markedly better. By further equipping open-source VideoLLMs with the proposed TCD approach, evident performance improvements are achieved across most metrics in the EventHallusion benchmark. Our codes and benchmark data are available at https://github.com/Stevetich/EventHallusion.

研究动机与目标

• 为解决当前对视频大语言模型中事件幻觉缺乏系统性评估的问题，特别是由语言和视觉先验引发的幻觉。
• 开发一个专门针对动态视频事件幻觉的基准，而非静态图像或时间顺序幻觉。
• 探究为何开源 VideoLLM 比闭源模型更容易出现事件幻觉。
• 提出一种即插即用的方法，无需微调即可缓解幻觉。
• 在多种 VideoLLM 架构和事件类型上评估所提方法的有效性。

提出的方法

• EventHallusion 通过人工收集包含罕见或反直觉事件的视频，并标注能触发模型先验的问题，例如当一个人携带自行车时，模型会错误地假设其正在‘骑行’。
• 该基准分为三类：'完整罕见事件'、'交错常见-罕见事件'和'具有误导性的问题'，以探测不同类型的幻觉诱因。
• 时序对比解码（TCD）通过比较模型在原始视频与时间顺序被打乱的视频（即帧顺序被随机打乱以破坏时间连贯性）上的输出结果，实现对比。
• 在自回归解码过程中，TCD 使用对比损失，促使模型在两种输入下生成一致的预测结果，从而减少对虚假先验的依赖。
• 该方法采用原始输入与扰动输入的 logits 加权组合，其中超参数 α=1 和 β=0.1，以稳定解码过程。
• TCD 作为一种轻量级推理时方法应用，无需模型微调或架构修改。

实验结果

研究问题

• RQ1 当面对罕见或反直觉的视频事件时，现有 VideoLLM 在事件幻觉上的表现如何？
• RQ2 与闭源模型相比，开源 VideoLLM 在事件理解任务中对幻觉的敏感程度如何？
• RQ3 像 TCD 这样简单且无需微调的方法，是否能有效减少多种 VideoLLM 架构中的事件幻觉？
• RQ4 在扰动视频中采样帧数的多少如何影响 TCD 的性能？
• RQ5 为何模型在处理交错常见-罕见事件时比处理完全罕见事件时更困难？

主要发现

• 开源 VideoLLM 在 EventHallusion 上表现出严重的幻觉问题，尤其在‘交错’和‘具有误导性的问题’类别中，当缺乏明确提示时，准确率显著下降。
• 闭源 VideoLLM 展现出显著更强的鲁棒性，在所有类别中均保持高准确率，表明其对基于先验的错误具有更强的内在抵抗能力。
• TCD 在所有三种测试的 VideoLLM 主干网络（LLaVA-NeXT-Video、VideoChat2、Vila）上均实现了稳定且显著的性能提升，尤其在‘交错’和‘具有误导性的问题’场景中效果突出。
• 当扰动视频使用少于 4 帧时，TCD 性能下降，表明过度的时间扰乱会损害对比信号。
• TCD 在‘完整罕见事件’类别中改善有限，表明此类场景因缺乏上下文线索和强烈先验，仍具挑战性。
• 在二分类任务中，TCD 使 LLaVA-NeXT-Video 的整体准确率最高提升 15.6%，证实其在减少幻觉性事件预测方面的有效性。