[论文解读] Double-chain Constraints for 3D Human Pose Estimation in Images and Videos

Hongbo Kang, Yong Wang+4 more|arXiv (Cornell University)|Aug 10, 2023

Human Pose and Action Recognition被引用 5

一句话总结

该论文提出了一种新型的3D人体姿态估计模型——双链图卷积Transformer（DC-GCT），通过结合GCN与自注意力机制的双分支架构，整合了局部到全局和全局到局部的约束。该模型在Human3.6M和MPI-INF-3DHP数据集上实现了最先进性能，使用检测到的2D姿态时MPJPE达到48.41mm，并在真实场景图像中展现出良好的泛化能力。

ABSTRACT

Reconstructing 3D poses from 2D poses lacking depth information is particularly challenging due to the complexity and diversity of human motion. The key is to effectively model the spatial constraints between joints to leverage their inherent dependencies. Thus, we propose a novel model, called Double-chain Graph Convolutional Transformer (DC-GCT), to constrain the pose through a double-chain design consisting of local-to-global and global-to-local chains to obtain a complex representation more suitable for the current human pose. Specifically, we combine the advantages of GCN and Transformer and design a Local Constraint Module (LCM) based on GCN and a Global Constraint Module (GCM) based on self-attention mechanism as well as a Feature Interaction Module (FIM). The proposed method fully captures the multi-level dependencies between human body joints to optimize the modeling capability of the model. Moreover, we propose a method to use temporal information into the single-frame model by guiding the video sequence embedding through the joint embedding of the target frame, with negligible increase in computational cost. Experimental results demonstrate that DC-GCT achieves state-of-the-art performance on two challenging datasets (Human3.6M and MPI-INF-3DHP). Notably, our model achieves state-of-the-art performance on all action categories in the Human3.6M dataset using detected 2D poses from CPN, and our code is available at: https://github.com/KHB1698/DC-GCT.

研究动机与目标

• 通过建模复杂的关节依赖关系，解决从2D图像进行3D人体姿态估计的病态问题。
• 克服GCN（过度平滑）和Transformer（忽略结构几何）在捕捉多层次关节关系方面的局限性。
• 开发一种单帧3D姿态提升模型，以低计算开销有效整合视频序列中的时序信息。
• 通过增强人体骨骼的结构与上下文建模，提升模型在非受限、真实场景图像中的泛化能力。

提出的方法

• 设计双链架构，包含独立的局部到全局与全局到局部分支，以建模多层次关节依赖关系。
• 基于图卷积网络（GCN）实现局部约束模块（LCM），捕捉相邻关节之间的局部空间关系。
• 设计使用自注意力机制的全局约束模块（GCM），以建模所有关节之间的长程全局关系。
• 引入特征交互模块（FIM），实现在局部与全局分支过渡阶段的跨分支特征交换。
• 通过引导目标帧的联合嵌入，将时序建模集成到单帧模型中，实现对视频序列嵌入的引导。
• 通过可调节的通道分割（C₁:C₂）控制模型容量，在性能与参数量之间实现平衡。

实验结果

研究问题

• RQ1 结合GCN与自注意力机制的双分支架构能否有效建模人体姿态估计中的局部与全局依赖关系？
• RQ2 所提出的双链设计相较于单分支GCN或Transformer模型，在3D姿态估计精度上提升了多少？
• RQ3 视频序列中的时序信息能在多大程度上被高效嵌入到单帧3D姿态估计模型中？
• RQ4 所提方法在具有复杂遮挡和检测误差的真实场景图像中是否具备良好的泛化能力？
• RQ5 在精度与计算成本之间实现平衡时，通道分割（C₁:C₂）与输入帧数的最优配置是什么？

主要发现

• DC-GCT在使用CPN检测到的2D姿态时，在Human3.6M数据集上实现了48.41mm的新SOTA MPJPE，且在所有动作类别中均优于先前方法。
• 当使用81帧输入时，模型达到44.73mm MPJPE，性能在更高帧数（如243帧）时趋于饱和，表明序列长度超过一定值后收益递减。
• 最优双链配置被确定为C₁:C₂ = 1:4（C=160），此时MPJPE最低（48.41mm），参数量仅为2.07M。
• 模型在MPI-INF-3DHP数据集的真实场景图像上表现出良好泛化能力，能准确预测多样化现实场景中的3D姿态。
• 尽管性能有所提升，但在严重遮挡、半身姿态及2D检测误差情况下仍存在失败案例，凸显了鲁棒推理方面尚未解决的挑战。
• 该方法以极小的FLOPs和参数量增加，提供了一种计算高效的单帧模型嵌入视频级时序上下文的方式。