[论文解读] Location-aware Graph Convolutional Networks for Video Question Answering

Deng Huang, Peihao Chen+4 more|arXiv (Cornell University)|Aug 7, 2020

Multimodal Machine Learning Applications参考文献 39被引用 4

一句话总结

该论文提出了一种面向视频问答的**位置感知图卷积网络**（L-GCN），通过在图结构中引入空间和时间位置特征，建模物体之间的交互关系。通过利用图卷积捕捉检测到的物体之间的直接关系，同时过滤背景干扰，L-GCN在TGIF-QA、YouTube2Text-QA和MSVD-QA基准上实现了最先进性能，尤其在时间推理任务上取得显著提升。

ABSTRACT

We addressed the challenging task of video question answering, which requires machines to answer questions about videos in a natural language form. Previous state-of-the-art methods attempt to apply spatio-temporal attention mechanism on video frame features without explicitly modeling the location and relations among object interaction occurred in videos. However, the relations between object interaction and their location information are very critical for both action recognition and question reasoning. In this work, we propose to represent the contents in the video as a location-aware graph by incorporating the location information of an object into the graph construction. Here, each node is associated with an object represented by its appearance and location features. Based on the constructed graph, we propose to use graph convolution to infer both the category and temporal locations of an action. As the graph is built on objects, our method is able to focus on the foreground action contents for better video question answering. Lastly, we leverage an attention mechanism to combine the output of graph convolution and encoded question features for final answer reasoning. Extensive experiments demonstrate the effectiveness of the proposed methods. Specifically, our method significantly outperforms state-of-the-art methods on TGIF-QA, Youtube2Text-QA, and MSVD-QA datasets. Code and pre-trained models are publicly available at: https://github.com/SunDoge/L-GCN

研究动机与目标

• 为解决视频问答任务中的挑战，通过显式建模物体交互及其时空位置，这些因素对准确推理至关重要。
• 克服现有方法依赖空间-时间注意力或RNN所带来的局限，这些方法对背景内容敏感，且难以处理非相邻物体的交互。
• 通过在图结构中整合空间与时间位置线索，提升动作转换与计数等时间推理任务的性能。
• 开发一种基于图的框架，实现所有物体之间的直接、非循环交互，从而增强对复杂视频动态的建模能力。

提出的方法

• 使用现成的目标检测器在每一帧中检测物体，并将这些物体表示为完全连接图中的节点。
• 每个节点同时嵌入外观特征以及2D空间坐标与时间位置坐标，使图具备位置感知能力。
• 应用图卷积网络（GCN）在节点间传播消息，实现无论帧间距离远近，所有物体之间的直接交互。
• 通过视觉-问题交互模块将GCN输出与编码后的问题特征融合，以预测最终答案。
• 默认使用两层GCN，每帧检测5个物体，基于消融实验显示此设置性能最优。
• 位置特征作为额外输入注入每个节点，消融实验表明空间与时间位置特征具有互补性且不可或缺。

实验结果

研究问题

• RQ1 与基于注意力或RNN的方法相比，通过位置感知图建模物体交互是否能提升视频问答性能？
• RQ2 同时引入空间与时间位置信息，对动作顺序或重复次数等时间类查询的推理有何影响？
• RQ3 一种支持物体间直接交互的图方法，在视频问答中是否显著优于循环或序列建模方法？
• RQ4 在性能与效率之间取得平衡时，GCN的最优层数与每帧检测的物体数应为多少？

主要发现

• L-GCN在TGIF-QA上达到最先进性能，动作预测任务准确率达74.32%，较基线提升3.74个百分点。
• 在动作转换任务中，准确率从基线的79.59%提升至81.13%，表明对动作顺序的推理能力显著增强。
• 在计数任务中，模型性能从4.33提升至3.95，表明对动作重复与时间模式的理解更加准确。
• 消融实验证实，同时使用空间与时间位置特征时性能最高，单独使用任一类型均导致准确率下降。
• 使用两层GCN时性能最佳，每帧检测5个物体在覆盖范围与噪声之间达到最优平衡。
• 定性分析表明，模型能有效识别与问题相关的关键物体，并在跨帧间捕捉语义关系，例如在动态场景中识别出“人”与“摩托车”之间的关联。