[论文解读] G-TAD: Sub-Graph Localization for Temporal Action Detection

Mengmeng Xu, Chen Zhao+3 more|arXiv (Cornell University)|Nov 26, 2019

Human Pose and Action Recognition参考文献 56被引用 28

一句话总结

G-TAD 提出了一种基于图卷积网络（GCN）的框架，将动作时序定位问题建模为视频图中的子图定位问题，其中片段作为节点，相关性作为边，具有上下文支持的动作为目标子图。通过使用动态语义边和一种新型 GCNeXt 模块（结合 SGAlign 实现子图嵌入），G-TAD 实现了最先进性能，在 ActivityNet-1.3 上达到 34.09% mAP，在 THUMOS14 上于 IoU@0.5 时达到 51.6% mAP（结合提议处理方法）。

ABSTRACT

Temporal action detection is a fundamental yet challenging task in video understanding. Video context is a critical cue to effectively detect actions, but current works mainly focus on temporal context, while neglecting semantic context as well as other important context properties. In this work, we propose a graph convolutional network (GCN) model to adaptively incorporate multi-level semantic context into video features and cast temporal action detection as a sub-graph localization problem. Specifically, we formulate video snippets as graph nodes, snippet-snippet correlations as edges, and actions associated with context as target sub-graphs. With graph convolution as the basic operation, we design a GCN block called GCNeXt, which learns the features of each node by aggregating its context and dynamically updates the edges in the graph. To localize each sub-graph, we also design an SGAlign layer to embed each sub-graph into the Euclidean space. Extensive experiments show that G-TAD is capable of finding effective video context without extra supervision and achieves state-of-the-art performance on two detection benchmarks. On ActivityNet-1.3, it obtains an average mAP of 34.09%; on THUMOS14, it reaches 51.6% at IoU@0.5 when combined with a proposal processing method. G-TAD code is publicly available at https://github.com/frostinassiky/gtad.

研究动机与目标

• 为解决现有方法仅依赖时序上下文的局限性，通过在视频理解中引入更丰富且自适应的语义上下文。
• 不仅从时序上建模视频上下文，也从语义上建模，以实现基于内容相关但非相邻邻居的动作检测。
• 开发一个统一框架，将动作检测视为动态视频图中的子图定位问题，从而提升检测的鲁棒性与准确性。
• 通过在训练过程中动态演化的图卷积操作实现上下文感知的特征学习，捕捉长距离和语义相关的片段。
• 证明所学习的语义边与人工标注的上下文量高度相关，验证模型发现有意义上下文的能力。

提出的方法

• 将视频建模为图结构，其中片段作为节点，相邻片段之间建立时序边，同时基于特征相似性学习可学习的语义边。
• 设计 GCNeXt，一种受 ResNeXt 启发的 GCN 模块，通过堆叠图卷积并结合动态边更新，聚合多层次上下文信息。
• 引入 SGAlign，一种子图对齐层，将每个候选动作子图嵌入到固定大小的欧几里得表示中，用于分类。
• 采用类似于 Faster R-CNN 的两阶段流水线：首先使用 GCNeXt 进行上下文感知的特征学习，随后通过 SGAlign 实现子图表示与检测。
• 端到端训练模型，采用子图预测的交叉熵损失，允许图结构在优化过程中动态演化。
• 利用时序边与学习到的语义边，实现在视频图中长距离、内容自适应的上下文传播。

实验结果

研究问题

• RQ1 基于图的方法若能从特征中学习语义边，是否能在时序动作检测中超越仅依赖时序上下文的模型？
• RQ2 在无额外监督的情况下，动态图卷积网络在多大程度上能自适应地学习多层次语义上下文？
• RQ3 所学习的语义图与人工标注的视频上下文量之间的相关性如何？
• RQ4 通过 SGAlign 实现的子图定位范式是否相比标准回归或分类头能显著提升检测准确率？
• RQ5 模型能否通过学习内容自适应的上下文，在动作在时序上相距较远时仍实现跨多样化视频内容的泛化？

主要发现

• G-TAD 在 ActivityNet-1.3 上达到 34.09% mAP，未使用额外数据或后处理，创下新的最先进性能记录。
• 在 THUMOS14 上，结合提议处理方法后，G-TAD 在 IoU@0.5 时达到 51.6% mAP，展现出强大的泛化能力。
• 动作片段与背景片段之间的语义边被自适应地学习，其比例与人工标注的上下文量高度相关（散点图中 R² > 0.8）。
• 可视化显示，语义图在训练过程中动态演化，深层中出现更多上下文边，表明上下文逐步整合。
• 消融实验证实 GCNeXt 和 SGAlign 均不可或缺：若移除语义边或对齐层，性能显著下降。
• 即使动作与上下文不时序相邻，模型仍能成功定位动作，证明其有效利用语义而非仅时序邻近性。