[论文解读] ColPali: Efficient Document Retrieval with Vision Language Models

Manuel Faysse, Hugues Sibille+5 more|arXiv (Cornell University)|Jun 27, 2024

Natural Language Processing Techniques被引用 4

一句话总结

ColPali 引入了一种基于视觉-语言模型的检索系统，可直接从文档图像生成高质量、上下文相关的嵌入向量，无需进行文本提取。该系统在 ViDoRe 基准测试中实现了最先进性能，具备更快的索引速度和低延迟推理能力，通过利用视觉线索和后期交互匹配机制，超越了现有以文本为中心的检索流水线。

ABSTRACT

Documents are visually rich structures that convey information through text, but also figures, page layouts, tables, or even fonts. Since modern retrieval systems mainly rely on the textual information they extract from document pages to index documents -often through lengthy and brittle processes-, they struggle to exploit key visual cues efficiently. This limits their capabilities in many practical document retrieval applications such as Retrieval Augmented Generation (RAG). To benchmark current systems on visually rich document retrieval, we introduce the Visual Document Retrieval Benchmark ViDoRe, composed of various page-level retrieval tasks spanning multiple domains, languages, and practical settings. The inherent complexity and performance shortcomings of modern systems motivate a new concept; doing document retrieval by directly embedding the images of the document pages. We release ColPali, a Vision Language Model trained to produce high-quality multi-vector embeddings from images of document pages. Combined with a late interaction matching mechanism, ColPali largely outperforms modern document retrieval pipelines while being drastically simpler, faster and end-to-end trainable. We release models, data, code and benchmarks under open licenses at https://hf.co/vidore.

研究动机与目标

• 解决当前文档检索系统在处理包含表格、图表和版面等丰富视觉元素的文档时，未能充分利用视觉特征的局限性。
• 开发一种完全基于文档图像运行的检索系统，消除对 OCR 或版面解析流水线的依赖。
• 通过整合视觉上下文信息，提升在检索增强生成（RAG）等实际应用场景中的检索性能。
• 构建一个综合性基准 ViDoRe，用于评估系统在视觉丰富、多语言和多领域文档检索任务中的表现。
• 实现端到端可训练、低延迟的文档检索系统，具备高吞吐量，适用于工业级部署。

提出的方法

• ColPali 利用视觉-语言模型（VLM）直接从文档页面图像生成多向量嵌入，无需 OCR 或文本提取。
• 采用后期交互机制，通过关注最相关的图像块来计算查询与文档之间的匹配分数，实现在计算成本较低的前提下获得高精度。
• 通过从文档页面中提取的图像-文本对进行对比学习目标微调，优化查询与视觉特征之间的语义对齐。
• 采用基于图像块的特征提取策略，将每页文档划分为多个视觉标记，实现细粒度匹配并提升相关文档内容的定位能力。
• 在训练过程中使用低秩适配器，以降低计算和存储成本，实现在大规模文档语料上的高效微调。
• 系统支持端到端训练与推理，并兼容支持多向量检索的向量数据库。

Figure 1: For each term in a user query, ColPali identifies the most relevant document image patches (highlighted zones) and computes a query-to-page matching score. We can then swiftly retrieve the most relevant documents from a large pre-indexed corpus.

实验结果

研究问题

• RQ1 基于视觉-语言模型的检索系统在需要理解表格、图表和版面等视觉元素的文档检索任务中，是否能超越以文本为中心的模型？
• RQ2 通过跳过 OCR 和版面解析流水线，转而使用原始图像特征，文档检索性能能提升到何种程度？
• RQ3 采用多向量嵌入的后期交互机制，在文档检索中如何提升检索准确率并降低延迟？
• RQ4 统一的、端到端可训练系统是否能在不依赖文本提取的前提下，实现对多样化领域、语言和文档类型的高性能表现？
• RQ5 在 RAG 和搜索引擎等真实工业应用场景中，视觉线索对检索性能有何影响？

主要发现

• ColPali 在 ViDoRe 基准测试中实现了最先进性能，在视觉丰富的文档检索任务中显著超越了现有的基于文本的检索模型。
• 由于无需 OCR 和版面解析，该模型显著缩短了索引时间，相比传统流水线实现了更快的语料摄入速度。
• 得益于高效的后期交互机制，ColPali 保持了极低的查询延迟，适用于实时工业应用场景。
• 该系统在多个领域、多种语言（包括英语和法语）以及包含复杂视觉结构的文档类型中均表现出强大的泛化能力。
• 训练 ColPali 仅需约 40 小时的 Mi250x AMD GPU 时间，总碳足迹约为 15kg CO2 当量，表明其环境成本较低。
• ViDoRe 基准和 ColPali 模型的开源发布，预计将加速视觉驱动文档检索领域的未来研究。

Figure 2: ColPali simplifies document retrieval w.r.t. standard retrieval methods while achieving stronger performances with better latencies. Latencies and results are detailed in section 5 and subsection B.5 .