[论文解读] DocumentCLIP: Linking Figures and Main Body Text in Reflowed Documents

Fuxiao Liu, Hao Tan+1 more|arXiv (Cornell University)|Jun 9, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

DocumentCLIP 提出了一种显著性感知的对比学习框架，用于建模新闻文章和维基百科页面等重排文档中图像、标题和长篇文本之间的句子级多模态交互。通过引入布局感知的段落嵌入、实体对齐以及困难负样本采样，该方法在监督和零样本文档内检索任务中均达到最先进性能，在人工评估中平均排名为 0.75，优于 CLIP 和 SBERT。

ABSTRACT

Vision-language pretraining models have achieved great success in supporting multimedia applications by understanding the alignments between images and text. While existing vision-language pretraining models primarily focus on understanding single image associated with a single piece of text, they often ignore the alignment at the intra-document level, consisting of multiple sentences with multiple images. In this work, we propose DocumentCLIP, a salience-aware contrastive learning framework to enforce vision-language pretraining models to comprehend the interaction between images and longer text within documents. Our model is beneficial for the real-world multimodal document understanding like news article, magazines, product descriptions, which contain linguistically and visually richer content. To the best of our knowledge, we are the first to explore multimodal intra-document links by contrastive learning. In addition, we collect a large Wikipedia dataset for pretraining, which provides various topics and structures. Experiments show DocumentCLIP not only outperforms the state-of-the-art baselines in the supervised setting, but also achieves the best zero-shot performance in the wild after human evaluation. Our code is available at https://github.com/FuxiaoLiu/DocumentCLIP.

研究动机与目标

• 为解决视觉-语言模型在长篇、结构化文档（如新闻文章和维基百科页面）中无法建模文档内图像-文本关系的缺陷。
• 通过捕捉图像、标题与长文本段落之间的语义、结构和位置关系，提升多模态文档理解能力。
• 在无需微调的情况下，实现对多样化文档类型和主题的鲁棒零样本泛化。
• 设计一种预训练框架，利用维基百科 HTML 结构中的弱监督信号学习文档级对齐。
• 开发一种方法，有效处理语言丰富、重排文档中模糊或多重图像-文本对应关系的问题。

提出的方法

• DocumentCLIP 采用一种布局感知的 Transformer 编码器，包含三种输入嵌入：文本嵌入、段落位置嵌入和实体嵌入，以建模文档结构与内容流。
• 在布局 Transformer 之前，通过 CLIP 的视觉和文本编码器对图像和标题特征进行早期融合，以保留多模态交互信息。
• 一个显著性句子提取模块可识别每对图像/标题最相关的句子，降低噪声并聚焦于信息量丰富的内容。
• 模型通过显著性感知的对比损失进行优化，将图像-标题对与相关文本段落进行比较，同时使用普通负样本（其他段落）和困难负样本（互换的图像/标题对）。
• 预训练在包含 66,000 篇文章和 320,000 对图像-标题的大型维基百科数据集上进行，利用自然的段落到图像链接作为弱监督信号。
• 该框架在真实世界文档集合上进行检索任务的微调，并在监督和零样本设置下进行评估。

Figure 1 : Illustration of our task. Given an article, our model extracts the most relevant text to the image/caption pair. (Left): The document is from our pretraining Wikipedia dataset , which has the section to image/caption pair links as the groundtruth label. We leverage this weak supervision t

实验结果

研究问题

• RQ1 视觉-语言模型能否在具有复杂布局和多幅图像的长篇重排文档中，有效学习句子级图像-文本对齐？
• RQ2 与标准对比学习相比，引入布局和段落位置信息在多模态文档理解方面有何提升作用？
• RQ3 在维基百科上预训练的模型能否在未见过的文档类型（如开放教科书）上实现强大的零样本性能？
• RQ4 与标准对比目标相比，显著性感知对比学习在文档内检索任务中如何提升性能？
• RQ5 困难负样本在多大程度上提升了模型区分候选文本段落之间细微语义差异的能力？

主要发现

• 在开放教科书数据集的人工评估中，DocumentCLIP 的平均排名为 0.75，显著优于 CLIP（1.13）和 SBert（1.29），表明其零样本相关性预测能力更优。
• 在零样本设置下，49% 的预测被人工标注者列为第一，而 DocumentCLIP 被列为最后一名的情况仅占 18%，表明其预测具有高度可靠性。
• 该模型在监督和零样本设置下均优于最先进基线模型，证实其鲁棒性与泛化能力。
• 使用 CLIP 编码器处理图像和标题可获得最佳性能，有效缩小模态间的语义差距。
• 消融实验证实，段落位置和实体嵌入显著提升性能，而从零开始训练（SCRATCH）因缺乏预训练先验而表现较差。
• 定性分析表明，即使缺少关键词，DocumentCLIP 也能正确识别语境相关的句子，例如将 '真人特效' 正确关联至 '电视剧'。

Figure 2 : Overview of DocumentCLIP in the training phrase. In this example, $t_{00},t_{01},t_{02}$ are the Top 3 sentences selected by the Salient Sentence Extraction from the image/caption pair in yellow. $x^{ic}_{12}$ is the negative query from the image/caption pair in green to generated hard ne