[论文解读] CLIP-Event: Connecting Text and Images with Event Structures

Manling Li, Ruochen Xu+7 more|arXiv (Cornell University)|Jan 13, 2022

Multimodal Machine Learning Applications被引用 8

一句话总结

CLIP-Event 提出了一种对比学习框架，通过整合事件结构（事件类型和论元角色）来增强视觉-语言模型，利用文本信息抽取和提示工程生成难负样本。该方法在多媒体事件理解任务上实现了最先进（SOTA）的零样本性能，在事件抽取任务上的F-score相比之前模型提升超过5%，并在多种下游任务中表现出显著优势。

ABSTRACT

Vision-language (V+L) pretraining models have achieved great success in supporting multimedia applications by understanding the alignments between images and text. While existing vision-language pretraining models primarily focus on understanding objects in images or entities in text, they often ignore the alignment at the level of events and their argument structures. In this work, we propose a contrastive learning framework to enforce vision-language pretraining models to comprehend events and associated argument (participant) roles. To achieve this, we take advantage of text information extraction technologies to obtain event structural knowledge, and utilize multiple prompt functions to contrast difficult negative descriptions by manipulating event structures. We also design an event graph alignment loss based on optimal transport to capture event argument structures. In addition, we collect a large event-rich dataset (106,875 images) for pretraining, which provides a more challenging image retrieval benchmark to assess the understanding of complicated lengthy sentences. Experiments show that our zero-shot CLIP-Event outperforms the state-of-the-art supervised model in argument extraction on Multimedia Event Extraction, achieving more than 5% absolute F-score gain in event extraction, as well as significant improvements on a variety of downstream tasks under zero-shot settings.

研究动机与目标

• 解决视觉-语言预训练模型在图像和文本中忽略事件级语义和论元角色结构的问题。
• 通过利用带字幕新闻数据的远程监督，提升零样本多媒体事件理解能力。
• 通过自监督对比学习，实现对未见事件类型和论元角色的鲁棒识别。
• 通过最优传输（optimal transport）显式建模视觉与语言模态之间事件论元结构的对齐。

提出的方法

• 利用文本信息抽取工具，从图像字幕中自动提取事件类型、触发词和论元角色，作为弱监督信号。
• 通过多样化提示函数对事件结构进行操作（如交换论元角色或改变事件类型），生成难负样本描述。
• 在图像特征与事件感知文本描述之间训练对比学习目标，以对齐视觉与语言表征。
• 从图像对象和文本实体及其论元角色构建事件图，并使用最优传输对齐这些图，实现细粒度的结构迁移。
• 将图像-文本对齐与事件图对齐整合到统一的排序机制中，用于下游任务。
• 在包含106,875张新闻来源图像的大规模事件丰富数据集上进行预训练，以支持复杂长句的理解。

实验结果

研究问题

• RQ1 视觉-语言模型是否能在超越物体和实体识别的基础上，更好地理解事件级语义？
• RQ2 如何通过自监督对比学习，有效将文本中的事件结构知识（事件类型和论元角色）迁移到视觉模态？
• RQ3 模型在零样本事件抽取和未见事件类型与论元角色识别方面，其泛化能力在多大程度上得以实现？
• RQ4 通过最优传输实现的显式事件图对齐，如何提升对复杂事件结构的多模态理解？
• RQ5 将事件结构知识整合是否能显著提升下游视觉-语言任务（如定位情境识别和视觉常识推理）的性能？

主要发现

• 在零样本设置下，CLIP-Event 在 Multimedia Event Extraction 基准测试中，相比最强的有监督基线模型，F-score 提升了5.1个百分点。
• 与在新闻数据上预训练的 CLIP 相比，CLIP-Event 在 VOANews 数据集上的图像检索性能提升3.7%（R@1）和2.1%（R@5）。
• 消融实验表明，若移除最优传输机制，VOANews 数据集上的 R@1 下降2.0%，证实其在结构对齐中的关键作用。
• 在所有评估基准（包括 VCR 和 VisualCOMET）中，CLIP-Event 在零样本设置下均优于 CLIP 及在新闻数据上微调的 CLIP。
• 该模型在开放世界事件上表现出强大的泛化能力，仅通过自然语言描述即可成功识别未见过的事件类型和论元角色。
• 事件类型分布分析表明，所提取的事件在视觉上大多可检测，验证了训练数据在真实多媒体应用中的相关性。