[论文解读] Conditional Directed Graph Convolution for 3D Human Pose Estimation

Wenbo Hu, Changgong Zhang+3 more|arXiv (Cornell University)|Jul 16, 2021

Human Pose and Action Recognition参考文献 57被引用 6

一句话总结

该论文提出了一种U形条件有向图卷积网络（U-CondDGCN），通过将人体骨骼表示为有向图来显式编码层级关节关系，从而实现3D人体姿态估计。通过将图卷积条件化于输入姿态，该方法学习自适应的非局部依赖关系，在Human3.6M和MPI-INF-3DHP基准上实现了最先进性能，相比基线模型提升2.9mm。

ABSTRACT

Graph convolutional networks have significantly improved 3D human pose estimation by representing the human skeleton as an undirected graph. However, this representation fails to reflect the articulated characteristic of human skeletons as the hierarchical orders among the joints are not explicitly presented. In this paper, we propose to represent the human skeleton as a directed graph with the joints as nodes and bones as edges that are directed from parent joints to child joints. By so doing, the directions of edges can explicitly reflect the hierarchical relationships among the nodes. Based on this representation, we further propose a spatial-temporal conditional directed graph convolution to leverage varying non-local dependence for different poses by conditioning the graph topology on input poses. Altogether, we form a U-shaped network, named U-shaped Conditional Directed Graph Convolutional Network, for 3D human pose estimation from monocular videos. To evaluate the effectiveness of our method, we conducted extensive experiments on two challenging large-scale benchmarks: Human3.6M and MPI-INF-3DHP. Both quantitative and qualitative results show that our method achieves top performance. Also, ablation studies show that directed graphs can better exploit the hierarchy of articulated human skeletons than undirected graphs, and the conditional connections can yield adaptive graph topologies for different poses.

研究动机与目标

• 解决无向图表示在捕捉人体骨骼层次化运动结构方面的局限性，以提升3D姿态估计性能。
• 建模不同姿态下（如行走与进食）关节之间变化的非局部依赖关系。
• 通过整合时空图卷积与可学习的、姿态条件化的拓扑结构，提升从单目视频中进行3D姿态估计的准确性。
• 验证有向图相比无向图更能有效利用骨骼层次结构，且条件连接能进一步提升性能。
• 在大规模基准数据集（包括Human3.6M和MPI-INF-3DHP）上验证所提方法的有效性。

提出的方法

• 将人体骨骼表示为有向图，以关节为节点，从父关节到子关节的有向边来编码解剖学层次结构。
• 提出一种时空条件有向图卷积（ST-DGConv），根据输入姿态特征动态调整图拓扑结构。
• 采用U形编码器-解码器架构以保留空间和时间上下文信息，并通过跳跃连接实现特征精炼。
• 采用条件边机制，基于输入姿态嵌入预测节点之间的连接权重，从而实现自适应的非局部依赖关系。
• 在图卷积中同时利用节点特征和边特征，以建模局部及长程的关节关系。
• 主要在U型结构的融合阶段应用条件连接，以平衡先验结构知识与姿态特定的适应能力。

实验结果

研究问题

• RQ1 与无向图相比，有向图表示是否能在3D姿态估计中更有效地建模人体骨骼的层次结构？
• RQ2 将图拓扑结构条件化于输入姿态是否能通过实现自适应的非局部依赖关系来提升性能？
• RQ3 条件连接的放置位置（如下采样阶段与融合阶段）如何影响模型性能与稳定性？
• RQ4 输入序列长度在多大程度上影响所提框架中3D姿态估计的准确性？
• RQ5 所预测的条件连接是否能以可视化方式反映有意义的姿态特定依赖关系，例如行走时四肢之间的关联，或进食时右手与头部之间的关联？

主要发现

• 所提出的U-CondDGCN在Human3.6M和MPI-INF-3DHP上实现了最先进性能，当条件连接应用于融合阶段时，相比基线模型UGCN，平均误差降低2.9mm。
• 消融实验表明，有向图在建模骨骼层次结构方面优于无向图，从而带来更精确的3D姿态估计结果。
• 条件连接显著提升了性能，通过使不同姿态能够自适应选择最优的非局部依赖关系，该结论已通过学习连接矩阵的可视化结果验证。
• 随着输入序列长度的增加，该方法表现出一致的性能增益，证明了时间上下文在3D姿态推理中的价值。
• 推理速度达每帧3.6ms，参数量仅342万，远少于基于时序卷积的模型（如VideoPose3D，参数量1695万），展现出高效性。
• 对预测条件连接的可视化结果表明，模型成功学习到了有意义的、与姿态相关的依赖关系——例如行走时左手腕与右腿之间的关联，或进食时右手与头部之间的关联。