[论文解读] MotionAGFormer: Enhancing 3D Human Pose Estimation with a Transformer-GCNFormer Network

Soroush Mehraban, Vida Adeli+1 more|arXiv (Cornell University)|Oct 25, 2023

Human Pose and Action Recognition被引用 5

一句话总结

MotionAGFormer 提出了一种新颖的混合 Transformer-GCNFormer 架构，通过专用的 GCNFormer 模块将 Transformer 的全局长距离依赖与局部时空关节关系相结合，从而提升 3D 人体姿态估计性能。该模型采用自适应融合并行的双流结构，在 Human3.6M 数据集上实现 38.4 mm 的 P1 误差，在 MPI-INF-3DHP 数据集上实现 16.2 mm 的 P1 误差，达到当前最优性能，同时参数量减少 25%，计算效率提升三倍，优于先前的 SOTA 模型。

ABSTRACT

Recent transformer-based approaches have demonstrated excellent performance in 3D human pose estimation. However, they have a holistic view and by encoding global relationships between all the joints, they do not capture the local dependencies precisely. In this paper, we present a novel Attention-GCNFormer (AGFormer) block that divides the number of channels by using two parallel transformer and GCNFormer streams. Our proposed GCNFormer module exploits the local relationship between adjacent joints, outputting a new representation that is complementary to the transformer output. By fusing these two representation in an adaptive way, AGFormer exhibits the ability to better learn the underlying 3D structure. By stacking multiple AGFormer blocks, we propose MotionAGFormer in four different variants, which can be chosen based on the speed-accuracy trade-off. We evaluate our model on two popular benchmark datasets: Human3.6M and MPI-INF-3DHP. MotionAGFormer-B achieves state-of-the-art results, with P1 errors of 38.4mm and 16.2mm, respectively. Remarkably, it uses a quarter of the parameters and is three times more computationally efficient than the previous leading model on Human3.6M dataset. Code and models are available at https://github.com/TaatiTeam/MotionAGFormer.

研究动机与目标

• 解决标准 Transformer 在捕捉 3D 人体姿态序列中局部关节依赖关系方面的局限性。
• 通过将图卷积网络（GCNs）的局部归纳偏置与全局注意力机制相结合，提升 3D 姿态估计的准确性。
• 设计一种计算高效且灵活的架构，在实际部署中实现速度与精度的平衡。
• 通过单次前向传播预测完整 3D 姿态序列，而非逐帧处理，从而消除冗余计算。
• 实现全局与局部表征的自适应融合，以更好地建模人体运动结构。

提出的方法

• 提出 Attention-GCNFormer（AGFormer）模块，通过两条并行分支处理关节特征：一条为标准 Transformer 用于建模全局上下文，另一条为 GCNFormer 用于捕捉局部时空关系。
• 引入 GCNFormer 模块，利用可学习的时间邻接矩阵建模局部关节依赖，提升对运动学结构的表征能力。
• 采用自适应特征融合策略，在不引入可学习融合权重的前提下，平衡全局与局部归纳偏置。
• 使用时间位置嵌入以提升模型收敛速度与性能，优于仅使用空间或联合嵌入的方法。
• 通过调整深度与通道宽度，设计 MotionAGFormer 的四种变体，实现速度与精度之间的灵活权衡。
• 采用单次前向传播推理策略，从输入 2D 帧端到端回归整个 3D 姿态序列，最大限度减少冗余计算。

实验结果

研究问题

• RQ1 结合 Transformer 与 GCN 的混合架构是否能够超越独立模型，在 3D 人体姿态估计任务中取得更优性能？
• RQ2 将基于 GCN 的局部建模与全局自注意力机制相结合，如何增强对人体运动结构的建模能力？
• RQ3 在 3D 姿态估计中，全局与局部表征之间最优的融合策略是什么？
• RQ4 轻量化架构是否能够在降低计算成本与模型规模的同时，实现 SOTA 性能？
• RQ5 使用时间位置嵌入是否能提升序列化 3D 姿态提升任务中的收敛速度与准确性？

主要发现

• MotionAGFormer-B 在 Human3.6M 数据集上实现 38.4 mm 的新 SOTA P1 误差，优于以往 SOTA 模型。
• 在 MPI-INF-3DHP 数据集上，MotionAGFormer-B 达到 16.2 mm 的 P1 误差，展现出强大的跨基准泛化能力。
• 该模型在 Human3.6M 上仅使用了前代领先模型 25% 的参数量，且计算效率提升三倍。
• 消融实验证实，Transformer 与 GCNFormer 双流的并行融合策略性能最佳（P1 误差 38.4 mm），优于串行融合或单一模块。
• 时间位置嵌入可将误差降低至 0.88 mm，加速收敛；而仅使用空间嵌入的误差为 0.94 mm。
• GCNFormer 模块单独使用时，P1 误差为 57.5 mm，凸显了结合局部与全局建模对实现最优结果的必要性。