[论文解读] HySTER: A Hybrid Spatio-Temporal Event Reasoner

Théophile Sautory, Nuri Cingillioglu+1 more|arXiv (Cornell University)|Jan 17, 2021

Semantic Web and Ontologies参考文献 28被引用 4

一句话总结

HySTER 是一种神经符号视频问答（VideoQA）模型，结合深度学习进行视觉感知与答案集编程（ASP）进行时序、因果及物理事件的符号推理。通过利用与领域无关的规则进行事件检测与因果推理，该模型在 CLEVRER 数据集上实现了最先进（SOTA）的准确率，实现了可解释且可泛化的视频理解。

ABSTRACT

The task of Video Question Answering (VideoQA) consists in answering natural language questions about a video and serves as a proxy to evaluate the performance of a model in scene sequence understanding. Most methods designed for VideoQA up-to-date are end-to-end deep learning architectures which struggle at complex temporal and causal reasoning and provide limited transparency in reasoning steps. We present the HySTER: a Hybrid Spatio-Temporal Event Reasoner to reason over physical events in videos. Our model leverages the strength of deep learning methods to extract information from video frames with the reasoning capabilities and explainability of symbolic artificial intelligence in an answer set programming framework. We define a method based on general temporal, causal and physics rules which can be transferred across tasks. We apply our model to the CLEVRER dataset and demonstrate state-of-the-art results in question answering accuracy. This work sets the foundations for the incorporation of inductive logic programming in the field of VideoQA.

研究动机与目标

• 为解决端到端深度学习模型在 VideoQA 中透明度不足、难以处理复杂时序与因果推理的问题。
• 将符号人工智能（特别是答案集编程，ASP）整合到 VideoQA 中，以实现对视频中物理事件的组合性、可解释性推理。
• 开发一种可泛化的框架，结合神经感知与符号规则，实现对时序、因果及物理事件的推理。
• 证明神经符号融合可提升在 CLEVRER 等推理密集型 VideoQA 基准上的性能。
• 通过支持从数据中学习规则，为在 VideoQA 中引入归纳逻辑编程（ILP）奠定基础。

提出的方法

• 模型使用 Mask R-CNN 作为感知模块，从视频帧中提取目标检测结果与特征，并将其映射为符号表示。
• 利用 ASP 中的事实构建符号化场景表示，编码每个时间步的对象身份、位置、速度及物理属性。
• 系统采用事件演算框架建模时序与因果关系，使用谓词如 $happens(E,T)$、$holdsAt(F,T)$、$initiates(E,F)$ 和 $terminates(E,F)$。
• 将与领域无关的物理、因果与时序逻辑规则编码于 ASP 中，用于推理碰撞、速度变化及物体交互等事件。
• 通过几何距离与速度变化阈值工程化事件检测规则，以识别碰撞等物理事件，阈值在训练数据上进行优化。
• 推理流水线结合对象级别的符号事实与逻辑规则，通过答案集上的查询评估来回答自然语言问题。

实验结果

研究问题

• RQ1 结合深度学习与符号推理的神经符号方法，是否能在需要复杂时序与因果推理的 VideoQA 任务中超越端到端深度学习模型？
• RQ2 答案集编程（ASP）在使用通用时序与因果规则时，能否有效建模并推理视频中的物理事件（如碰撞）？
• RQ3 为事件检测而手工设计的符号规则，在推理密集型 VideoQA 基准（如 CLEVRER）上能将准确率提升多少？
• RQ4 使用 ASP 的符号推理能否处理涉及否定与计数的组合性问题，而这些问题对纯神经网络模型而言极具挑战？
• RQ5 该框架能否泛化以支持通过归纳逻辑编程（ILP）实现自动规则学习，从而减少对手动规则的依赖？

主要发现

• HySTER 在 CLEVRER 数据集上实现了最先进性能，问答准确率超越现有模型。
• 采用 Mask R-CNN 的感知模块在 1,000 段训练视频上的目标检测与分类任务中达到 0.991 的 F1 分数，确保了高保真度的符号输入。
• 速度变化规则能有效区分发生碰撞与未发生碰撞的物体对，其分布显示碰撞前与碰撞期间存在明显分离。
• 用于碰撞检测的欧几里得距离阈值成功过滤掉非碰撞配对，同时保留了大部分真实碰撞事件，如图 2 所示。
• 符号推理组件能够准确处理涉及否定与计数的组合性问题，而这些问题对纯神经网络模型仍具挑战。
• 该模型在检测跨越多个时间帧的事件方面表现出鲁棒性，表现为碰撞前后各帧中速度变化模式的一致性。