[论文解读] Grounded Video Situation Recognition

Zeeshan Ali Khan, C. V. Jawahar+1 more|arXiv (Cornell University)|Oct 19, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出了一种名为基于视频情境识别（GVSR）的新框架，该框架通过一种名为VideoWhisperer的三阶段Transformer模型，联合预测动作-角色对、其文本描述以及视频中的时空定位。该方法在VidSitu数据集上实现了最先进性能，CIDEr得分提升22%（52.3 vs. 46.0），并在训练过程中无需边界框标注即可实现弱监督定位。

ABSTRACT

Dense video understanding requires answering several questions such as who is doing what to whom, with what, how, why, and where. Recently, Video Situation Recognition (VidSitu) is framed as a task for structured prediction of multiple events, their relationships, and actions and various verb-role pairs attached to descriptive entities. This task poses several challenges in identifying, disambiguating, and co-referencing entities across multiple verb-role pairs, but also faces some challenges of evaluation. In this work, we propose the addition of spatio-temporal grounding as an essential component of the structured prediction task in a weakly supervised setting, and present a novel three stage Transformer model, VideoWhisperer, that is empowered to make joint predictions. In stage one, we learn contextualised embeddings for video features in parallel with key objects that appear in the video clips to enable fine-grained spatio-temporal reasoning. The second stage sees verb-role queries attend and pool information from object embeddings, localising answers to questions posed about the action. The final stage generates these answers as captions to describe each verb-role pair present in the video. Our model operates on a group of events (clips) simultaneously and predicts verbs, verb-role pairs, their nouns, and their grounding on-the-fly. When evaluated on a grounding-augmented version of the VidSitu dataset, we observe a large improvement in entity captioning accuracy, as well as the ability to localize verb-roles without grounding annotations at training time.

研究动机与目标

• 通过在统一框架中整合动作识别、语义角色标注（SRL）与时空定位，实现对视频的全面理解。
• 通过引入弱监督定位组件，解决先前方法依赖真实动作标签或缺乏定位的问题。
• 通过联合建模提升多事件中实体与角色的消歧能力，减少描述生成偏差。
• 设计一种端到端预测动作、角色、描述与视觉定位的模型，且在训练阶段无需定位标注。

提出的方法

• 一种三阶段Transformer架构：(1) 视频-物体编码器，联合编码视频片段与物体特征，生成上下文嵌入。
• 第二阶段的语义角色查询注意力机制，利用动作-角色查询关注物体特征，通过交叉注意力定位相关视觉区域。
• 第三阶段的描述生成头，利用注意力特征为每个角色-实体对生成自由形式的文本描述。
• 仅使用弱监督进行端到端训练，训练过程中不使用边界框标注预测定位。
• 利用事件级表示与跨片段的自注意力机制，实现全局上下文理解与细粒度推理。
• 通过统一架构联合优化动作分类、SRL与定位，解耦任务同时保持跨任务依赖关系。

实验结果

研究问题

• RQ1 是否能够通过统一模型在无需训练时提供定位标注的情况下，联合预测视频中的动作、语义角色、描述与时空定位？
• RQ2 与独立或仅依赖动作监督的方法相比，联合建模动作预测、SRL与定位在多大程度上提升了描述生成准确率与定位性能？
• RQ3 在仅依赖弱监督与上下文嵌入的情况下，模型在多事件中对角色与共指实体的消歧能力有多强？
• RQ4 定位是否能提升生成描述的质量与多样性，尤其是在长尾分布与模糊描述场景下？

主要发现

• 所提出的VideoWhisperer模型在端到端的'Pred, Pred'设置下取得52.3的CIDEr得分，相比基线'GT, GT'设置（46.0）提升了22%。
• 在训练过程中未使用任何边界框监督的情况下，模型实现了0.13的IoU定位预测，证明了其弱监督定位的有效性。
• 当使用真实动作标签时性能显著下降（如CIDEr从52.3降至45.06），表明模型的联合学习机制减少了对黄金动作标签的依赖。
• 定性结果表明，模型生成的描述多样且语义准确（例如，'woman in white dress'而非'woman wearing white'），并能正确识别复杂场景中的主体、受事与工具。
• 模型通过关注面部表情等线索，成功对非视觉角色（如方式）进行定位，表明注意力机制在语义角色建模中具有有效性。
• 局限性包括动作与角色预测准确率不足、对同一物体多个实例的关注困难，以及在长尾场景下描述多样性不足。