[论文解读] Ovis: Structural Embedding Alignment for Multimodal Large Language Model

Shiyin Lu, Yang Li+5 more|arXiv (Cornell University)|May 31, 2024

Topic Modeling被引用 4

一句话总结

Ovis 提出了一种新颖的多模态大语言模型架构，通过引入可学习的视觉嵌入表，实现视觉与文本嵌入的结构对齐，使视觉标记能够以概率方式映射到离散的视觉'词汇'上，从而模仿大语言模型的分词机制。该方法在多个基准测试中达到最先进性能，Ovis-14B 在性能上超越了同尺寸的开源模型以及专有的 Qwen-VL-Plus 模型。

ABSTRACT

Current Multimodal Large Language Models (MLLMs) typically integrate a pre-trained LLM with another pre-trained vision transformer through a connector, such as an MLP, endowing the LLM with visual capabilities. However, the misalignment between two embedding strategies in MLLMs -- the structural textual embeddings based on an embedding look-up table and the continuous embeddings generated directly by the vision encoder -- makes challenges for a more seamless fusion of visual and textual information. We propose Ovis, a novel MLLM architecture designed to structurally align visual and textual embeddings. Ovis integrates an additional learnable visual embedding table into the visual encoder's process. To capture rich visual semantics, each image patch indexes the visual embedding table multiple times, resulting in a final visual embedding that is a probabilistic combination of the indexed embeddings. This structural approach mirrors the method used for generating textual embeddings. Empirical evaluations on various multimodal benchmarks show that Ovis outperforms open-source MLLMs of similar parameter scales and even surpasses the proprietary model Qwen-VL-Plus overall. These results highlight the potential of Ovis' structured visual representation for advancing MLLM architectural design and promoting more effective multimodal learning. Code, datasets, and models are available at https://github.com/AIDC-AI/Ovis.

研究动机与目标

• 解决当前多模态大语言模型中，基于查找表的结构化文本嵌入与基于视觉编码器的非结构化视觉嵌入之间的固有错位问题。
• 通过使视觉嵌入生成遵循与大语言模型中文本嵌入相同的结构化原理，提升多模态融合效果。
• 通过统一的嵌入策略，实现视觉与语言表征更有效、更一致的融合。
• 在不依赖高分辨率图像增强技术的前提下，实现在多模态基准测试中的卓越性能。

提出的方法

• 引入一个可学习的视觉嵌入查找表，其中每一行代表一个对应于特定视觉模式的独特视觉词汇。
• 将视觉编码器输出的连续视觉标记映射为表示与整个视觉词汇表相似度的概率标记。
• 使用该概率标记多次索引视觉嵌入表，通过加权组合所索引的嵌入，生成最终的视觉嵌入。
• 与文本生成损失联合训练视觉嵌入表和概率映射参数，避免使用向量量化等辅助目标。
• 采用三阶段训练流程，确保在保持视觉表征质量的同时，与文本生成保持对齐。
• 采用标准的视觉Transformer（ViT）和大语言模型骨干网络，将视觉嵌入表集成到视觉编码器的处理流程中。

Figure 1 : Comparison between different embedding strategies in MLLM. In the connector-based approach (a), the connector transforms the visual embeddings into the same dimensional as the textual embedding, where the latter is indexed from a textual embedding table. As illustrated in (b), our Ovis le

实验结果

研究问题

• RQ1 将视觉嵌入结构化为与文本嵌入的查找表策略相匹配的形式，是否能提升多模态大语言模型的多模态推理能力？
• RQ2 在参数量相同的情况下，可学习的视觉嵌入表是否能带来优于标准连接器架构的性能表现？
• RQ3 在不使用高分辨率图像增强技术的前提下，结构化对齐的视觉嵌入方法是否能超越高资源的专有模型（如 Qwen-VL-Plus）？
• RQ4 与现有开源多模态大语言模型相比，该架构在推理密集型和幻觉敏感型基准测试中的表现如何？

主要发现

• 尽管是开源模型，Ovis-14B 在多个多模态基准测试中整体性能仍超越了专有的 Qwen-VL-Plus 模型。
• Ovis-8B 在其他 7B 级开源多模态大语言模型中展现出显著性能优势，尤其在推理和事实准确性任务中。
• 在 MathVista-Mini 基准测试中，Ovis 展现出优于开源竞争对手的数学与逻辑推理能力。
• 在 RealWorldQA 基准测试中，Ovis-14B 在高分辨率真实世界视觉任务上的得分高于 GPT4V，表明其具备强大的实际视觉理解能力。
• 在幻觉基准测试中，Ovis-8B 和 Ovis-14B 在各自参数级别中表现出最低的幻觉率。
• 消融实验证实，与使用相同骨干网络和参数量的连接器架构相比，Ovis 在所有基准测试上的平均性能提升达 8.8%。

(a) 7B tier