[论文解读] Character Matters: Video Story Understanding with Character-Aware Relations

Shijie Geng, Ji Zhang+4 more|arXiv (Cornell University)|May 9, 2020

Multimodal Machine Learning Applications参考文献 35被引用 12

一句话总结

本文提出了一种角色感知推理网络（CA-RN），通过弱监督的人脸命名和基于Transformer的推理，建模角色、物体及其身份之间的细粒度关系，从而提升视频故事理解能力。在TVQA数据集上，该模型实现了最先进性能，相较于基线模型，准确率最高提升2.68%，尤其在需要深层场景理解与多关系推理的问题上表现更优。

ABSTRACT

Different from short videos and GIFs, video stories contain clear plots and lists of principal characters. Without identifying the connection between appearing people and character names, a model is not able to obtain a genuine understanding of the plots. Video Story Question Answering (VSQA) offers an effective way to benchmark higher-level comprehension abilities of a model. However, current VSQA methods merely extract generic visual features from a scene. With such an approach, they remain prone to learning just superficial correlations. In order to attain a genuine understanding of who did what to whom, we propose a novel model that continuously refines character-aware relations. This model specifically considers the characters in a video story, as well as the relations connecting different characters and objects. Based on these signals, our framework enables weakly-supervised face naming through multi-instance co-occurrence matching and supports high-level reasoning utilizing Transformer structures. We train and test our model on the six diverse TV shows in the TVQA dataset, which is by far the largest and only publicly available dataset for VSQA. We validate our proposed approach over TVQA dataset through extensive ablation study.

研究动机与目标

• 为解决当前视频问答模型依赖粗粒度全局视觉特征、难以捕捉视频故事中身份感知关系的局限性。
• 通过建模角色感知视觉关系——关联角色、物体及其相互作用——而非将人物视为通用视觉实体，从而提升视频故事情节理解能力。
• 通过多实例共现匹配实现弱监督的人脸命名，减少对昂贵人工标注的依赖。
• 利用基于Transformer的架构支持视频故事中的高层推理，整合字幕、物体、关系与命名实体等多模态信号。
• 在TVQA基准上验证角色感知关系在提升复杂、依赖身份与关系的问题上的有效性。

提出的方法

• 该框架首先使用预训练的目标检测器识别视频帧中的角色与物体，随后通过多实例共现匹配推断人脸与姓名的关联，无需显式标注。
• 通过将人脸与人体检测框的空间重叠关系，将通用的人体描述（如“woman”、“man”）替换为预测的角色名称，构建角色感知视觉关系。
• 一个多模态编码器将字幕、检测到的物体、角色感知关系以及命名实体融合为统一的表征，用于推理。
• 核心推理模块为基于Transformer的网络，能够捕捉跨模态的长距离依赖关系，并支持对复杂问题的高层推理。
• 模型采用端到端的多任务训练方式，联合优化视频问答与角色命名任务，实现两者的相互提升。
• 通过系统性地移除组件（如姓名、关系）进行消融实验，评估其对性能的贡献。

实验结果

研究问题

• RQ1 通过将人体描述替换为预测的角色名称，建模角色感知视觉关系是否能超越通用视觉特征，提升视频故事理解能力？
• RQ2 通过共现匹配实现的弱监督人脸命名是否能有效支持视频问答，而无需人工标注人脸？
• RQ3 角色感知关系在多角色、多物体及复杂互动问题上的推理能力提升程度如何？
• RQ4 与基于RNN的模型相比，基于Transformer的推理模块在长篇幅、多句字幕上的性能提升程度如何？
• RQ5 在视频问答中，角色名称、目标检测与关系建模对整体准确率的相对贡献分别是什么？

主要发现

• 所提模型在TVQA基准上达到最先进性能，在无时间戳设置下，验证集准确率提升2.68%，测试集提升2.01%，相较最佳先前方法。
• 消融实验表明，将角色名称加入视觉语义后，与物体和关系结合可使准确率提升0.92%，证明身份感知推理的价值。
• 该模型在需要多关系理解的问题上表现显著更优，例如涉及多个动作或同时互动的问题（如“谁正坐在沙发上同时拿着一个玻璃杯？”）。
• 使用角色感知关系相比仅使用物体与关系，准确率提升0.6%，凸显身份在场景理解中的重要性。
• 多任务训练设置同时提升了角色命名与推理性能，表明联合优化有助于特征学习。
• 模型在涉及角色身份与关系链的复杂问题上性能提升最为显著，证实了所提表征的有效性。