[论文解读] Hierarchical Object-oriented Spatio-Temporal Reasoning for Video Question Answering

Long Hoang Dang, Thao Minh Le+2 more|arXiv (Cornell University)|Jun 25, 2021

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出分层面向对象时空推理（HOSTR），一种通过时空图上的动态、以对象为中心的推理来建模视频问答的神经网络。通过使用多层级的面向对象时空推理（OSTR）单元架构，HOSTR 在查询引导下捕捉对象内部的时间动态和对象之间的空间交互，实现了在多个视频问答基准上的最先进性能，同时提升了可解释性和效率。

ABSTRACT

Video Question Answering (Video QA) is a powerful testbed to develop new AI capabilities. This task necessitates learning to reason about objects, relations, and events across visual and linguistic domains in space-time. High-level reasoning demands lifting from associative visual pattern recognition to symbol-like manipulation over objects, their behavior and interactions. Toward reaching this goal we propose an object-oriented reasoning approach in that video is abstracted as a dynamic stream of interacting objects. At each stage of the video event flow, these objects interact with each other, and their interactions are reasoned about with respect to the query and under the overall context of a video. This mechanism is materialized into a family of general-purpose neural units and their multi-level architecture called Hierarchical Object-oriented Spatio-Temporal Reasoning (HOSTR) networks. This neural model maintains the objects' consistent lifelines in the form of a hierarchically nested spatio-temporal graph. Within this graph, the dynamic interactive object-oriented representations are built up along the video sequence, hierarchically abstracted in a bottom-up manner, and converge toward the key information for the correct answer. The method is evaluated on multiple major Video QA datasets and establishes new state-of-the-arts in these tasks. Analysis into the model's behavior indicates that object-oriented reasoning is a reliable, interpretable and efficient approach to Video QA.

研究动机与目标

• 通过将对象视为具有随时间演变的时空生命线的持久实体，实现在视频问答中的高层、类似符号的推理。
• 通过结构化的关联推理，解决视觉视频数据与语言查询之间的语义鸿沟挑战。
• 开发一种通用神经单元（OSTR），在查询和上下文引导下动态建模对象交互。
• 设计一种分层架构，可扩展至更长视频，并支持复杂视频事件的多级抽象。
• 通过图结构表示中显式追踪对象和关系，提升视频问答模型的可解释性和可靠性。

提出的方法

• 该方法采用一种称为面向对象时空推理（OSTR）的神经单元，处理输入的对象序列、上下文视频特征以及语言查询。
• 每个 OSTR 单元应用时间注意力机制，将单个对象序列总结为与查询相关的表征。
• 通过图神经网络（GCNs）的图机制建模对象间空间交互，利用消息传递机制优化对象表征。
• OSTR 单元以分层架构（HOSTR）堆叠，其结构与视频的时间结构相匹配，实现从片段级到视频级的自底向上抽象。
• 模型构建一个分层嵌套的时空图，确保对象身份和关系在时间和抽象层级间保持一致。
• 最终答案从图中关键对象及其动态交互的精细化、查询条件化表征中推导得出。

实验结果

研究问题

• RQ1 通过具有持久对象生命线的面向对象推理，能否提升视频问答中的性能与可解释性？
• RQ2 在多个视频时间尺度上对时空关系进行分层建模，如何增强对长距离依赖关系的推理能力？
• RQ3 与静态注意力或记忆网络相比，查询引导的动态图构建在视觉与语言模态推理方面能提升多少？
• RQ4 对象内部的时间注意力与对象间空间交互组件在模型性能中各自发挥何种独立贡献？
• RQ5 一种通用神经单元（OSTR）能否在不同复杂度的视频问答任务与数据集上有效复用？

主要发现

• HOSTR 在多个主流视频问答基准（包括 MSVD-QA、MSRVTT-QA 和 TGIF-QA）上达到新的最先进性能，展现出卓越的推理能力。
• 消融实验表明，时间注意力在序列总结中优于 BiLSTM，在默认配置下测试准确率达到 39.4%。
• 使用 6 层 GCN 进行对象间交互建模可获得最优性能，增加层数后准确率下降，归因于梯度消失。
• 移除上下文表征后，准确率从 39.4% 降至 37.8%，证实其在维持视频级上下文中的关键作用。
• 分层设计显著提升性能：1.5 层级架构达到 38.7% 准确率，优于 1 层级架构（38.0%），并展现出对更长视频的可扩展性。
• 定性可视化结果表明，HOSTR 能关注语义相关的对象（如女孩、球、狗）及其关系，与人类视觉推理模式一致。