[论文解读] A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video

Junfa Liu, Juan Rojas+3 more|arXiv (Cornell University)|Mar 11, 2020

Human Pose and Action Recognition参考文献 45被引用 12

一句话总结

该论文提出GAST-Net，一种图注意力时空卷积网络，通过协同整合空洞时间卷积与图注意力模块，实现对局部运动学连接、关节对称性及全局姿态语义的建模，从而实现从2D视频关键点进行实时3D人体姿态估计。该方法有效缓解了深度模糊性和自遮挡问题，实现高达1270 FPS的实时推理，并且无需微调即可泛化至半身姿态估计。

ABSTRACT

Spatio-temporal information is key to resolve occlusion and depth ambiguity in 3D pose estimation. Previous methods have focused on either temporal contexts or local-to-global architectures that embed fixed-length spatio-temporal information. To date, there have not been effective proposals to simultaneously and flexibly capture varying spatio-temporal sequences and effectively achieves real-time 3D pose estimation. In this work, we improve the learning of kinematic constraints in the human skeleton: posture, local kinematic connections, and symmetry by modeling local and global spatial information via attention mechanisms. To adapt to single- and multi-frame estimation, the dilated temporal model is employed to process varying skeleton sequences. Also, importantly, we carefully design the interleaving of spatial semantics with temporal dependencies to achieve a synergistic effect. To this end, we propose a simple yet effective graph attention spatio-temporal convolutional network (GAST-Net) that comprises of interleaved temporal convolutional and graph attention blocks. Experiments on two challenging benchmark datasets (Human3.6M and HumanEva-I) and YouTube videos demonstrate that our approach effectively mitigates depth ambiguity and self-occlusion, generalizes to half upper body estimation, and achieves competitive performance on 2D-to-3D video pose estimation. Code, video, and supplementary information is available at: \href{http://www.juanrojas.net/gast/}{http://www.juanrojas.net/gast/}

研究动机与目标

• 解决从2D关键点序列进行单目3D人体姿态估计时的深度模糊性与自遮挡问题。
• 开发一种灵活的实时框架，能够处理可变长度的视频序列，且无需固定输入长度约束。
• 通过注意力机制改进对运动学约束——局部关节连接、对称性与全局姿态——的建模能力。
• 实现对半身姿态估计的泛化能力，以支持人机交互等实际应用场景。
• 协同交织空间语义与时间依赖性，以增强时空表征学习能力。

提出的方法

• 模型采用具有因果卷积的空洞时间卷积网络（TCN），以捕捉长程时间依赖性，并支持实时、逐帧推理。
• 采用图注意力模块来建模远端关节之间的局部运动学连接关系以及对称关节关系。
• 通过全局注意力机制，关注与根节点相关的关节（如脊柱、左右髋部及根关节），以学习姿态级别的语义表征。
• 架构通过交错堆叠时间卷积与图注意力模块，联合优化时空特征学习。
• 模型在来自RGB视频的2D关键点序列上进行端到端训练，利用多头注意力机制动态计算空间建模用的邻接矩阵。
• 该框架支持单帧与多帧推理，且感受野可变，从而实现推理速度与精度之间的权衡。

实验结果

研究问题

• RQ1 统一架构能否有效同时建模局部运动学约束与全局姿态语义，以减少3D姿态估计中的深度模糊性？
• RQ2 如何使时空建模具备灵活性，以处理无固定长度输入约束的可变长度视频序列？
• RQ3 图注意力机制在3D姿态重建中，能在多大程度上提升对关节对称性与远端关节关系的建模能力？
• RQ4 尽管仅在全身体数据上进行训练，模型是否能有效泛化至半身姿态估计？
• RQ5 在实时3D姿态估计中，改变感受野大小时，推理速度与精度之间的权衡关系如何？

主要发现

• GAST-Net通过逐层帧处理方式，实现了高达1270 FPS的实时推理速度，显著优于单帧推理（74 FPS）。
• 在存在遮挡的场景中（如部分自遮挡的棒球挥棒动作），模型通过利用全局姿态语义与时间连续性，有效降低了姿态重建误差。
• 定性结果表明，若缺少局部运动学连接建模，远端关节的位置将出现显著模糊，尤其在瑜伽序列中表现明显。
• 模型在未微调的情况下，能有效泛化至半身姿态估计，即使仅在全身体数据上训练，也能生成合理的3D重建结果。
• 全局注意力矩阵显著强调了与脊柱、左右髋部及根关节之间的强连接关系，表明这些关节在3D结构重建中具有稳定作用。
• 失败案例主要源于2D关键点检测误差较大（如滑冰动作）或长期严重遮挡（如攀墙动作），证实了模型对输入质量的敏感性。