[论文解读] Chat-UniVi: Unified Visual Representation Empowers Large Language Models with Image and Video Understanding

Peng Jin, Ryuichi Takanobu+3 more|arXiv (Cornell University)|Nov 14, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

Chat-UniVi 引入了一种统一的视觉-语言模型，通过动态视觉标记和多尺度表征，在单一框架内联合理解图像和视频。通过基于 DPC-KNN 聚类的标记合并策略，并在混合图像-视频数据集上进行训练，该模型在无需架构修改的情况下，在两种模态上均实现了最先进性能，优于针对图像或视频设计的专用模型。

ABSTRACT

Large language models have demonstrated impressive universal capabilities across a wide range of open-ended tasks and have extended their utility to encompass multimodal conversations. However, existing methods encounter challenges in effectively handling both image and video understanding, particularly with limited visual tokens. In this work, we introduce Chat-UniVi, a Unified Vision-language model capable of comprehending and engaging in conversations involving images and videos through a unified visual representation. Specifically, we employ a set of dynamic visual tokens to uniformly represent images and videos. This representation framework empowers the model to efficiently utilize a limited number of visual tokens to simultaneously capture the spatial details necessary for images and the comprehensive temporal relationship required for videos. Moreover, we leverage a multi-scale representation, enabling the model to perceive both high-level semantic concepts and low-level visual details. Notably, Chat-UniVi is trained on a mixed dataset containing both images and videos, allowing direct application to tasks involving both mediums without requiring any modifications. Extensive experimental results demonstrate that Chat-UniVi consistently outperforms even existing methods exclusively designed for either images or videos. Code is available at https://github.com/PKU-YuanGroup/Chat-UniVi.

研究动机与目标

• 为在单一大型语言模型框架内高效建模图像和视频的挑战提供解决方案。
• 在保留图像和视频的空间与时间理解能力的同时，减少视觉标记数量。
• 通过在混合图像和视频数据上进行联合训练，实现统一且可适应的多模态模型。
• 提升视觉-语言任务中的多模态推理、细节描述和时间理解能力。
• 通过采用多样化采样策略评估对象探测，减轻视觉定位中的幻觉问题。

提出的方法

• 通过在视觉变换器特征上应用 DPC-KNN 聚类生成动态视觉标记，实现图像和视频事件的自适应标记化。
• 通过平均聚类标记的特征对视觉标记进行合并，减少冗余同时保留语义含义。
• 首先使用 DPC-KNN 对帧级特征进行视频分割，将标记在每个事件内随时间扩展。
• 构建多尺度表征，低层强调低级视觉细节，高层捕捉高级语义。
• 在混合图像和视频数据集上联合微调模型，实现对两种输入类型的直接部署，无需重新配置。
• 评估采用 GPT-4 和 GPT-3.5 进行零样本、零样本幻觉检测和多维度评分，使用归一化指标以保证一致性。

实验结果

研究问题

• RQ1 统一的视觉表征是否能有效利用有限的视觉标记对图像和视频输入进行建模？
• RQ2 与专用模型相比，在混合图像和视频数据上进行联合训练是否能提升两种模态的性能？
• RQ3 基于聚类的合并策略能否在保留图像空间细节的同时，保持视频的时间动态特性？
• RQ4 多尺度表征在多样化视觉-语言任务中如何提升理解能力？
• RQ5 与现有模型相比，该统一框架在视觉定位中在多大程度上减少了幻觉？

主要发现

• Chat-UniVi 在图像和视频理解基准测试中均优于专用的图像和视频模型，展现出更优的泛化能力。
• 在基于 COCO 的图像理解基准上，Chat-UniVi 获得 GPT-4 评估的 8.7/10 分，超过先前方法。
• 在 ActivityNet-200 视频基准上，Chat-UniVi 在 0–100 的归一化尺度上得分 82.3，超越现有视频专用模型。
• 模型在对象幻觉的零样本性能表现强劲，对抗性采样下正确分类率达到 92.4%，表明其定位能力稳健。
• 多尺度表征实现了高层语义理解与细节视觉描述，提升了上下文和时间推理能力。
• 在混合数据上进行联合训练，使模型无需架构更改或按模态单独微调，即可实现图像和视频任务的端到端自适应。