[论文解读] Grounded Situation Recognition with Transformers

Junhyeong Cho, Youngseok Yoon+2 more|arXiv (Cornell University)|Nov 19, 2021

Multimodal Machine Learning Applications参考文献 32被引用 7

一句话总结

本文提出 GSRTR，首个基于 Transformer 的接地情境识别（GSR）模型，采用视觉编码器-语言解码器架构，联合预测图像中的动词、语义角色及定位的名词实体。通过利用自注意力机制捕捉高层语义和图像相关的角色关系，该模型在 SWiG 基准上实现了最先进性能，实现了准确的动词分类与基于边界框定位的接地名词预测。

ABSTRACT

Grounded Situation Recognition (GSR) is the task that not only classifies a salient action (verb), but also predicts entities (nouns) associated with semantic roles and their locations in the given image. Inspired by the remarkable success of Transformers in vision tasks, we propose a GSR model based on a Transformer encoder-decoder architecture. The attention mechanism of our model enables accurate verb classification by capturing high-level semantic feature of an image effectively, and allows the model to flexibly deal with the complicated and image-dependent relations between entities for improved noun classification and localization. Our model is the first Transformer architecture for GSR, and achieves the state of the art in every evaluation metric on the SWiG benchmark. Our code is available at https://github.com/jhcho99/gsrtr .

研究动机与目标

• 为解决接地情境识别的挑战，该任务要求在图像中联合预测动词、语义角色及定位的实体。
• 克服由于相同动作在不同图像中存在高层语义差异而导致的动词预测困难。
• 建模复杂、与图像相关的实体间关系，以提升名词分类与定位性能。
• 探索 Transformer 架构在视觉-语言场景理解任务中的潜力，超越目标检测或图像字幕生成任务。
• 利用 SWiG 数据集建立 GSR 的新最先进基准。

提出的方法

• 该模型采用 Transformer 编码器-解码器架构，编码器处理一个学习得到的动词标记和来自 CNN 主干网络的图像特征，以预测关键动词。
• 编码器利用多头自注意力机制，从图像特征中捕捉高层语义特征，从而实现准确的动词分类。
• 解码器通过关注图像特征和每个语义角色的可学习角色-动词查询嵌入，生成每个语义角色的预测。
• 每个特定角色的查询通过解码器块处理，以预测名词类别、边界框坐标及存在概率。
• 解码器的自注意力与交叉注意力机制使模型能够灵活建模实体间的图像依赖关系。
• 模型通过交叉熵损失和边界框损失进行端到端训练，分别对应动词头、名词头和定位头。

实验结果

研究问题

• RQ1 纯 Transformer 架构能否在接地情境识别任务中实现最先进性能，该任务要求联合预测动词和定位名词？
• RQ2 Transformer 中的自注意力机制在建模语义角色与实体之间复杂、图像依赖关系方面的有效性如何？
• RQ3 编码器的注意力机制是否能聚焦于相关视觉区域，从而在动作存在高视觉差异的情况下仍能提升动词分类性能？
• RQ4 与先前方法相比，解码器对图像特征和角色查询的关注在多大程度上提升了接地名词的定位性能？
• RQ5 该模型的预测结果能否用于实现具有高语义与空间保真度的接地-语义感知图像检索？

主要发现

• GSRTR 在 SWiG 基准的所有评估指标上均达到最先进性能，优于先前模型在动词识别、名词分类和定位准确率方面的表现。
• 编码器中动词标记的注意力图始终聚焦于关键动作相关区域（如被拉扯的物体），表明其有效学习了高层语义特征。
• 解码器的注意力机制成功建模了图像依赖的角色关系，实现了对名词实体及其边界框的准确且灵活的预测。
• 该模型支持接地-语义感知图像检索，其中相似性基于共享动词和对齐的名词角色（具有重叠边界框）计算，检索结果在语义和空间上均保持一致。
• 消融实验表明，编码器的自注意力与解码器的交叉注意力对性能均至关重要，尤其在存在多个相互作用实体的复杂场景中。
• 该模型在面对同一动词（如“tugging”）的多样化视觉表现时表现出鲁棒性，通过在各层关注相关动作视觉线索实现。