[论文解读] Flexible graph convolutional network for 3D human pose estimation

Abu Taib Mohammed Shahjahan, A. Ben Hamza|arXiv (Cornell University)|Jul 26, 2024

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出Flex-GCN，一种灵活的图卷积网络，通过使用可学习的缩放因子聚合一阶和二阶邻居的特征，捕捉3D人体姿态估计中的高阶依赖关系。得益于残差连接和对称邻接调制，该模型在基准数据集上实现了最先进性能，并在遮挡和深度模糊情况下表现出更强的鲁棒性。

ABSTRACT

Although graph convolutional networks exhibit promising performance in 3D human pose estimation, their reliance on one-hop neighbors limits their ability to capture high-order dependencies among body joints, crucial for mitigating uncertainty arising from occlusion or depth ambiguity. To tackle this limitation, we introduce Flex-GCN, a flexible graph convolutional network designed to learn graph representations that capture broader global information and dependencies. At its core is the flexible graph convolution, which aggregates features from both immediate and second-order neighbors of each node, while maintaining the same time and memory complexity as the standard convolution. Our network architecture comprises residual blocks of flexible graph convolutional layers, as well as a global response normalization layer for global feature aggregation, normalization and calibration. Quantitative and qualitative results demonstrate the effectiveness of our model, achieving competitive performance on benchmark datasets.

研究动机与目标

• 解决标准图卷积网络在3D人体姿态估计中难以捕捉超过一跳邻居的高阶依赖关系的局限性。
• 减少由遮挡和深度模糊引起的3D姿态预测中的不确定性。
• 通过一种新颖的灵活图卷积机制与可学习缩放因子，提升模型的稳定性和性能。
• 通过引入残差连接和对称邻接调制，增强特征表示能力。
• 在标准3D人体姿态估计基准上展示具有竞争力的性能。

提出的方法

• 提出一种灵活的图卷积，聚合每个关节节点的直接（一阶）和二阶邻居的特征。
• 引入可学习的缩放因子，以平衡一阶和二阶邻居的贡献，实现自适应的全局上下文建模。
• 采用带有初始残差连接的残差块，以稳定训练并保留初始节点特征。
• 引入全局响应归一化层，以实现有效的全局特征聚合与校准。
• 使用可学习的对称矩阵调制邻接矩阵，以捕捉超出自然骨骼连接的长程空间关系。
• 理论分析证实了所提出的Flex-GCN架构的训练稳定性。

实验结果

研究问题

• RQ1 图卷积网络能否在3D人体姿态估计中有效建模超过一跳邻居的高阶依赖关系？
• RQ2 在遮挡和深度模糊条件下，引入二阶邻居信息对性能有何影响？
• RQ3 初始残差连接和对称邻接调制对模型准确性和稳定性有何影响？
• RQ4 批量大小和滤波器大小如何影响Flex-GCN模型的训练效率和泛化能力？
• RQ5 所提出的灵活图卷积是否在标准基准上优于标准GCN和现有高阶方法？

主要发现

• 在Human3.6M数据集上，Flex-GCN实现了37.41毫米的MPJPE和29.87毫米的PA-MPJPE，优于强基线模型。
• 与无残差连接的基线相比，引入初始残差连接使MPJPE降低6.58%，PA-MPJPE降低4.41%。
• 对称邻接调制矩阵使MPJPE降低0.58毫米，PA-MPJPE降低0.24毫米，提升了姿态的一致性和准确性。
• 当批量大小为512且滤波器大小为384时，性能达到最优，兼顾了梯度稳定性和模型容量。
• 消融实验表明，灵活聚合机制和对称邻接调制均对鲁棒性能至关重要。
• 该模型在保持与标准图卷积相同的时间和内存复杂度的同时，显著提升了特征表示能力。