[论文解读] Video Is Graph: Structured Graph Module for Video Action Recognition

Rong-Chang Li, Xiao‐Jun Wu+1 more|arXiv (Cornell University)|Oct 12, 2021

Human Pose and Action Recognition参考文献 46被引用 7

一句话总结

该论文提出了一种结构化图模块（SGM），将视频帧重新组织为图结构，以捕捉长时程依赖关系，同时保留顺序信息。通过基于先验结构将相邻帧分组为时间区域，SGM 实现了全局结构特征与局部顺序特征的同步提取，在多个动作识别基准上实现了最先进性能，且计算开销极低。

ABSTRACT

In the field of action recognition, video clips are always treated as ordered frames for subsequent processing. To achieve spatio-temporal perception, existing approaches propose to embed adjacent temporal interaction in the convolutional layer. The global semantic information can therefore be obtained by stacking multiple local layers hierarchically. However, such global temporal accumulation can only reflect the high-level semantics in deep layers, neglecting the potential low-level holistic clues in shallow layers. In this paper, we first propose to transform a video sequence into a graph to obtain direct long-term dependencies among temporal frames. To preserve sequential information during transformation, we devise a structured graph module (SGM), achieving fine-grained temporal interactions throughout the entire network. In particular, SGM divides the neighbors of each node into several temporal regions so as to extract global structural information with diverse sequential flows. Extensive experiments are performed on standard benchmark datasets, i.e., Something-Something V1 & V2, Diving48, Kinetics-400, UCF101, and HMDB51. The reported performance and analysis demonstrate that SGM can achieve outstanding precision with less computational complexity.

研究动机与目标

• 为解决视频动作识别中顺序建模的局限性，即由于依赖局部堆叠的时间操作，难以捕捉长时程依赖关系。
• 克服将视频帧转换为完整图表示时导致的顺序信息丢失问题。
• 开发一种机制，能够同时捕捉视频片段中的全局结构模式与局部时间序列特征。
• 在标准动作识别数据集上实现具有竞争力或最先进性能，且计算成本仅略有增加。

提出的方法

• 将视频片段转换为帧图，其中所有帧通过可学习边相互连接，以实现长时程信息流动。
• 提出结构化图模块（SGM），根据时间距离和方向将相邻节点划分为不同的时间区域。
• 将邻居分组为子图（例如：局部、全局、向前、向后），以在图转换过程中保留顺序感知表示。
• 在每个子图中使用独立的、非注意力机制的消息传递，以减少冗余并提高特征集中度。
• 将 SGM 集成到 InceptionV3 模块中，构建 SGN 网络，支持端到端训练与时空特征学习。
• 在结构化图上利用图卷积网络（GCNs）在帧之间传播特征，同时保持时间顺序。

实验结果

研究问题

• RQ1 基于图的视频帧表示是否能有效捕捉长时程时间依赖关系，同时不损失顺序结构？
• RQ2 如何利用时间先验信息对图进行结构化设计，以同时保留全局模式与局部序列特征？
• RQ3 非多头注意力机制的图模块在效率与性能方面是否优于注意力机制？
• RQ4 结构化图模块是否能在仅带来微小计算成本增加的情况下实现最先进结果？

主要发现

• 在 Kinetics-400 上，SGM 达到 86.9% 的 top-1 准确率，优于 TimeSformer-L（81.0%）和 GSM（80.7%），且计算量仅为 InceptionV3 的 1.08 倍。
• 在 Something-Something V2 上，SGN 达到 84.7% 的 top-1 准确率，超过 TimeSformer-L，并创下新的最先进结果。
• 在 Diving48 上，SGN 在 MMVRAC 竞赛中达到 45.4% 的 top-1 准确率，使用集成模型获得第一名。
• 在 HMDB51 上，SGN 在使用 2D 主干网络与时间模块的方法中表现最佳，凸显其强大的时间建模能力。
• 可视化结果表明，SGM 会聚焦于关键帧，而完整图则忽略关键帧，证实了特征定位能力的提升。
• 学习得到的邻接矩阵显示，深层网络更关注全局模式，且在短时长视频（Something-Something）与长时长视频（Kinetics-400）之间存在明显差异。