[论文解读] Dynamic Regions Graph Neural Networks for Spatio-Temporal Reasoning.

Iulia Duta, Andrei Liviu Nicolicioiu|arXiv (Cornell University)|Sep 17, 2020

Human Pose and Action Recognition参考文献 62被引用 5

一句话总结

本文提出动态区域图神经网络（DR-GNNs），一种通过输入特征条件化的可微池化机制，动态生成局部化、自适应区域作为图节点，用于视频中的时空推理。通过在无对象级监督的情况下学习以对象为中心的表征，DR-GNNs 改进了视觉交互的建模，并在涉及实例级交互的视频分类任务中达到最先进性能。

ABSTRACT

Graph Neural Networks are perfectly suited to capture latent interactions occurring in the spatio-temporal domain. But when an explicit structure is not available, as in the visual domain, it is not obvious what atomic elements should be represented as nodes. They should depend on the context and the kinds of relations that we are interested in. We are focusing on modeling relations between instances by proposing a method that takes advantage of the locality assumption to create nodes that are clearly localised in space. Current works are using external object detectors or fixed regions to extract features corresponding to graph nodes, while we propose a module for generating the regions associated with each node dynamically, without explicit object-level supervision. Conditioned on the input, for each node we predict the location and size of a region and use them to pool node features using a differentiable mechanism. Constructing these localised, adaptive nodes makes our model biased towards object-centric representations and we show that it improves the modeling of visual interactions. By relying on a few localized nodes, our method learns to focus on salient regions leading to a more explainable model. Our model achieves superior results on video classification tasks involving instance interactions.

研究动机与目标

• 解决在无显式结构或目标检测器的情况下，为时空视频理解中的图神经网络定义有意义的局部化节点的挑战。
• 开发一种方法，通过为每个节点动态预测区域位置和大小，实现对显著局部区域的关注，从而提升表征学习效果。
• 实现在动态生成区域上的端到端可微特征池化，减少对固定或外部区域提议的依赖。
• 通过创建本质上局部化、自适应的节点，提升模型可解释性，突出显著视觉实例。

提出的方法

• 该模型引入一个可学习模块，针对每个图节点，利用输入特征预测区域的空间位置和大小。
• 应用可微的空间池化机制，从预测区域中提取特征，支持通过区域选择进行反向传播。
• 区域生成基于输入特征图和节点表征，实现上下文感知的定位。
• 图结构基于动态生成的区域构建，使 GNN 能够推理局部化、自适应节点之间的交互。
• 整个流程端到端可微，支持区域预测与消息传递的联合优化。
• 该方法避免使用外部目标检测器或固定区域提议，完全依赖学习得到的自适应区域。

实验结果

研究问题

• RQ1 动态生成的自适应区域能否作为图神经网络中用于视频理解的有效且有意义的节点？
• RQ2 基于输入上下文学习定位节点，如何改善视频中实例级交互的建模？
• RQ3 当使用动态生成区域而非固定或检测器生成区域时，缺乏对象级监督在多大程度上影响性能？
• RQ4 通过聚焦显著局部区域而非全局特征，模型是否能实现更好的性能和可解释性？
• RQ5 与标准池化或固定区域基线相比，可微区域池化机制在准确性和鲁棒性方面表现如何？

主要发现

• 所提出的 DR-GNN 模型在涉及实例级交互的视频分类基准上达到最先进性能，优于使用固定或检测器生成区域的方法。
• 该模型学会聚焦于显著的局部区域，产生与视觉相关对象对齐的更具可解释性的注意力模式。
• 通过消除对对象级监督的需求，该方法在目标检测器不可靠或不可用的场景下具有更好的泛化能力。
• 可微区域池化机制支持有效的反向传播，并实现区域选择与图消息传递的联合优化。
• 消融实验证实，与固定或随机区域基线相比，动态区域生成显著提升了性能。