[论文解读] PoseAug: A Differentiable Pose Augmentation Framework for 3D Human Pose Estimation

Kehong Gong, Jianfeng Zhang+1 more|arXiv (Cornell University)|May 6, 2021

Human Pose and Action Recognition参考文献 53被引用 13

一句话总结

PoseAug 是一种可微分的端到端自动增强框架，通过可微分几何增强（姿态、体型、视角、位置）学习多样化训练数据，同时借助模型训练反馈提升3D人体姿态估计的泛化能力。该方法在跨数据集评估中实现了最先进性能，将 MPI-INF-3DHP 数据集上的 3D PCK 提升至 88.6%（绝对提升 9.1%）。

ABSTRACT

Existing 3D human pose estimators suffer poor generalization performance to new datasets, largely due to the limited diversity of 2D-3D pose pairs in the training data. To address this problem, we present PoseAug, a new auto-augmentation framework that learns to augment the available training poses towards a greater diversity and thus improve generalization of the trained 2D-to-3D pose estimator. Specifically, PoseAug introduces a novel pose augmentor that learns to adjust various geometry factors (e.g., posture, body size, view point and position) of a pose through differentiable operations. With such differentiable capacity, the augmentor can be jointly optimized with the 3D pose estimator and take the estimation error as feedback to generate more diverse and harder poses in an online manner. Moreover, PoseAug introduces a novel part-aware Kinematic Chain Space for evaluating local joint-angle plausibility and develops a discriminative module accordingly to ensure the plausibility of the augmented poses. These elaborate designs enable PoseAug to generate more diverse yet plausible poses than existing offline augmentation methods, and thus yield better generalization of the pose estimator. PoseAug is generic and easy to be applied to various 3D pose estimators. Extensive experiments demonstrate that PoseAug brings clear improvements on both intra-scenario and cross-scenario datasets. Notably, it achieves 88.6% 3D PCK on MPI-INF-3DHP under cross-dataset evaluation setup, improving upon the previous best data augmentation based method by 9.1%. Code can be found at: https://github.com/jfzhang95/PoseAug.

研究动机与目标

• 解决3D人体姿态估计器在分布外数据集和真实场景数据集上泛化能力差的问题，原因在于训练数据多样性不足。
• 克服现有离线数据增强方法依赖固定规则、无法适应模型学习动态的局限性。
• 开发一种端到端可训练框架，使数据增强与姿态估计联合优化，并利用训练损失作为反馈信号。
• 通过引入部件感知的运动链监督机制，设计判别模块以确保增强姿态在几何上合理。
• 提升模型在多样化场景下的鲁棒性，尤其在跨数据集评估设置下表现更优。

提出的方法

• 提出一种可微分的姿态增强器，通过神经网络操作学习调整骨骼关节点角度、体型以及视角/位置。
• 通过将姿态估计器的训练损失反向传播通过增强器，实现端到端训练，引导其生成更具多样性和挑战性的姿态。
• 设计一种基于部件感知运动链空间（PA-KCS）的3D姿态判别器，以在增强过程中强制保证局部关节点角度的合理性。
• 实现一种2D姿态判别器，确保增强姿态在体型、视角和空间位置上的合理性。
• 将增强器、估计器与判别器联合优化，以提升数据多样性与模型泛化能力。
• 采用反馈机制：当估计误差增加时，信号触发增强器生成更复杂多样的姿态，从而自适应提升训练难度。

实验结果

研究问题

• RQ1 端到端、反馈驱动的数据增强是否能超越传统离线增强方法，显著提升3D人体姿态估计器的泛化能力？
• RQ2 可微分增强器在生成多样化且合理的2D-3D姿态对方面，相较于基于规则或手工设计的方法效果如何？
• RQ3 通过部件感知运动链空间实现的合理性约束，在多大程度上提升了增强姿态的质量与下游模型性能？
• RQ4 增强与估计的联合优化是否能在跨数据集泛化上带来可测量的性能提升，尤其是在真实场景基准上？
• RQ5 框架中各组件（如RT操作、判别器等）在复杂数据集上的性能增益中分别起到何种贡献？

主要发现

• PoseAug 在 MPI-INF-3DHP 数据集的跨数据集评估中达到 88.6% 的 3D PCK，相比之前最佳数据增强方法提升 9.1%。
• 该框架在 3DHP 上将 MPJPE 从 86.6 降低至 73.0（减少 13.6 点），在 H36M 上从 41.8 降低至 38.2（减少 3.6 点），在内部与跨场景设置下均表现出显著提升。
• RT 操作（视角与位置增强）对跨场景性能贡献最大，当所有组件联合使用时，3DHP 上 MPJPE 降低 13.1 点。
• 采用部件感知 KCS 的 3D 姿态判别器优于标准 KCS，在 3DPW 上将 MPJPE 降低 13.0 点，在 3DHP 上降低 13.6 点，验证了其有效性。
• 同时引入 2D 与 3D 判别器使 3DHP 上性能提升 13.6 点，表明合理性引导对有效增强至关重要。
• 多样性分析表明，PoseAug 显著扩展了视角与位置的分布范围，相较于基线方法与先前方法，在更具挑战性的真实场景中尤为明显。