[论文解读] JOLO-GCN: Mining Joint-Centered Light-Weight Information for Skeleton-Based Action Recognition

Jinmiao Cai, Nianjuan Jiang+3 more|arXiv (Cornell University)|Nov 16, 2020

Human Pose and Action Recognition参考文献 30被引用 6

一句话总结

本文提出 JOLO-GCN，一种双流图卷积网络，通过融合以关节为中心的光学流补丁（Joint-aligned Optical Flow Patches, JFP）来捕捉局部细微运动线索，从而提升基于骨架的动作识别性能。通过将每个关节周围的运动表示为紧凑且具有运动学结构的光学流补丁，该方法在 NTU RGB+D、NTU RGB+D 120 和 Kinetics-Skeleton 数据集上均实现了更高的准确率，同时保持了较低的计算成本。

ABSTRACT

Skeleton-based action recognition has attracted research attentions in recent years. One common drawback in currently popular skeleton-based human action recognition methods is that the sparse skeleton information alone is not sufficient to fully characterize human motion. This limitation makes several existing methods incapable of correctly classifying action categories which exhibit only subtle motion differences. In this paper, we propose a novel framework for employing human pose skeleton and joint-centered light-weight information jointly in a two-stream graph convolutional network, namely, JOLO-GCN. Specifically, we use Joint-aligned optical Flow Patches (JFP) to capture the local subtle motion around each joint as the pivotal joint-centered visual information. Compared to the pure skeleton-based baseline, this hybrid scheme effectively boosts performance, while keeping the computational and memory overheads low. Experiments on the NTU RGB+D, NTU RGB+D 120, and the Kinetics-Skeleton dataset demonstrate clear accuracy improvements attained by the proposed method over the state-of-the-art skeleton-based methods.

研究动机与目标

• 为解决稀疏骨架序列在捕捉局部细微运动（如头部摆动或精细手势）方面的局限性。
• 提升具有相似全局骨架模式但局部运动不同的动作类别（如“指向”与“自拍”）的识别准确率。
• 开发一种轻量级视觉增强方法，保持骨架的稀疏性，并实现与基于骨架的 GCN 高效融合。
• 在多个 GCN 主干网络和大规模数据集上，验证所提出的 JFP 表示方法的泛化能力与有效性。

提出的方法

• 该方法引入了关节对齐的光学流补丁（JFP），从 RGB 视频帧中提取以每个骨骼关节为中心的局部运动线索。
• JFP 通过与关节坐标对齐的边界框从图像中裁剪得到，确保与骨架在空间和时间上的一致性。
• 在每个 JFP 上使用 TV-L1 方法计算光学流，以编码局部运动动态，同时保留细粒度的运动细节。
• JFP 序列被表示为稀疏时空图，从而可通过双流 GCN 架构与骨架图实现融合。
• 双流网络分别通过 GCN 处理由骨架和 JFP 流组成的特征，随后在早期或晚期进行特征融合，以提升动作识别性能。
• 该框架在 ST-GCN 和 2S-AGCN 主干网络上进行了评估，结果表明在不同架构下均实现了稳定的性能提升。

Figure 1: The motivations of the proposed method. (a) Sample frames in the “shake head” sequence from NTU RGB+D [ 22 ] , where the skeletal joints of the head hardly capture the local subtle movements. (b) Different actions with similar skeleton sequences. Sample frames are taken from “taking a self

实验结果

研究问题

• RQ1 当仅依靠骨架无法捕捉细微运动差异时，关节周围的局部视觉运动线索是否能提升基于骨架的动作识别性能？
• RQ2 与关节对齐的外观或深度补丁等其他补丁模态相比，所提出的 JFP 表示在识别准确率方面表现如何？
• RQ3 将 JFP 与骨架序列融合是否在保持最先进性能的同时，维持了较低的计算与内存开销？
• RQ4 所提出的方法在不同基于 GCN 的主干网络和数据集上具有多大程度的泛化能力？

主要发现

• 在 NTU RGB+D 数据集上，JOLO-GCN 搭配 2S-AGCN 主干网络实现了 94.1% 的 top-1 准确率，超越了之前的 SOTA 水平 0.5%。
• 使用相同主干网络，该方法将 ST-GCN 基线准确率提升了 1.5%（从 92.3% 提升至 93.8%）。
• P-branch（JFP 流）仅增加 3.9G FLOPS 和 22ms 推理时间，表明计算开销极低。
• 作为辅助模态，JFP 表现优于 JAP 和 JDP，在与 2S-AGCN 融合时达到 93.83% 的准确率，而 JAP 为 93.6%，JDP 为 93.5%。
• 增加超过一个补丁模态（如 JFP + JDP）仅带来微小增益（94.1% vs. 93.8%），表明收益递减。
• 所提方法泛化能力良好，在 NTU RGB+D、NTU RGB+D 120 和 Kinetics-Skeleton 三个数据集上均显著提升了 ST-GCN 和 2S-AGCN 主干网络的性能。

Figure 2: The Joint-aligned optical Flow Patches (JFP) estimation from two successive frames with corresponding 2D pose joints. (b) Patches centered around body joints obtained for (a) a successive frame pair are first cropped to form (c) JAP pairs. (d) Residual optical flow is estimated from each J