[论文解读] Graph Convolutional Networks for Temporal Action Localization

Runhao Zeng, Wenbing Huang+5 more|arXiv (Cornell University)|Sep 7, 2019

Human Pose and Action Recognition参考文献 48被引用 48

一句话总结

本文提出了一种 proposal graph 模型（P-GCN），使用两种类型的边和两组独立的 GCN 来建模动作提案之间的关系，以改进时序动作定位，在 THUMOS14 上达到最新/ state-of-the-art 的结果，在 ActivityNet v1.3 上具有竞争力。

ABSTRACT

Most state-of-the-art action localization systems process each action proposal individually, without explicitly exploiting their relations during learning. However, the relations between proposals actually play an important role in action localization, since a meaningful action always consists of multiple proposals in a video. In this paper, we propose to exploit the proposal-proposal relations using Graph Convolutional Networks (GCNs). First, we construct an action proposal graph, where each proposal is represented as a node and their relations between two proposals as an edge. Here, we use two types of relations, one for capturing the context information for each proposal and the other one for characterizing the correlations between distinct actions. Then we apply the GCNs over the graph to model the relations among different proposals and learn powerful representations for the action classification and localization. Experimental results show that our approach significantly outperforms the state-of-the-art on THUMOS14 (49.1% versus 42.8%). Moreover, augmentation experiments on ActivityNet also verify the efficacy of modeling action proposal relationships. Codes are available at https://github.com/Alvin-Zeng/PGCN.

研究动机与目标

• 激励在时序动作定位中挖掘 proposal 与 proposal 之间的关系，以提升分类和边界回归。
• 引入一个提案图来捕捉提案之间的上下文与周围关系。
• 开发一个双分支 GCN 框架以联合预测动作类别、边界和完整性。
• 提出一种使用邻域采样的高效训练策略，以扩展到大量提案。
• 通过消融研究和对比在 THUMOS14 和 ActivityNet v1.3 上证明其有效性。

提出的方法

• 将动作提案表示为图中的节点，并通过上下文边（高 tIoU）和周边边（相邻但不同的提案）连接它们。
• 应用 K 层 GCN 在相邻提案之间传播信息并增强提案特征。
• 使用两个独立的 GCN：GCN1 用于动作分类，GCN2 用于边界回归和完整性预测。
• 通过将最后一层的输出与原始特征拼接来扩展每个提案特征，并使用两个全连接头输出结构化的分类和回归结果。
• 使用两路特征（RGB 和光流）和 BSN 生成的提案进行训练，采用 SAGE 风格的邻域采样以降低计算量。
• 通过提案特征的余弦相似度定义邻接权重（可选的可学习嵌入）。
• 以分类的交叉熵、完整性的铰链损失和边界回归的平滑 L1 损失进行优化。

实验结果

研究问题

• RQ1 通过图建模提案之间的关系，是否可以超越逐个提案预测而提升时序动作定位？
• RQ2 哪种边的构造（上下文边与周边边）能够最好地捕捉提案之间的关系以提升定位性能？
• RQ3 将两条独立的 GCN 用于分类和边界回归是否比使用单个共享的 GCN 获得更好的结果？
• RQ4 邻域采样（SAGE）如何实现可扩展的训练而不牺牲精度？
• RQ5 改进是否在不同的骨干网络和提案类型之间保持一致？

主要发现

• P-GCN 在 THUMOS14 的 tIoU=0.5 时达到 49.1% 的 mAP，比之前的最佳结果高出 6.3 个百分点。
• 在 ActivityNet v1.3 上，P-GCN 变体在 tIoU=0.5 时达到 42.90% mAP，在 0.5–0.95 的平均 mAP 为 2.47%，外部标签时 P-GCN* 达到 48.26/33.16/3.27/31.11。
• 两个 GCN（一个用于分类，一个用于回归）始终优于使用 MLP 或单个 GCN 的配置，显示出对类别和边界建模提案关系的价值。
• 上下文边和周边边都对性能有贡献；去除任一类型都会降低 mAP。
• 当 N_s=4 时，邻域采样提供更好或相当的 mAP，同时显著减少训练时间（每次迭代减少约 76%）。
• 该方法在不同骨干网络（使用 BSN 提案的 I3D 特征、TAG 提案、二维特征）上都具有鲁棒性，在没有外部动作标签的情况下也有效，尽管外部标签可以提升性能。