[论文解读] PoseFormerV2: Exploring Frequency Domain for Efficient and Robust 3D Human Pose Estimation

Qitao Zhao, Ce Zheng+3 more|arXiv (Cornell University)|Mar 30, 2023

Human Pose and Action Recognition被引用 6

一句话总结

PoseFormerV2 通过使用离散余弦变换（DCT）系数引入频域表征，以提升 3D 人体姿态估计的效率与鲁棒性。通过在时域与频域双重融合时间特征，其在长序列上实现了更优的速度-精度权衡，并增强了对噪声的鲁棒性，在 Human3.6M 与 MPI-INF-3DHP 数据集上优于 PoseFormer 及其他 SOTA 方法。

ABSTRACT

Recently, transformer-based methods have gained significant success in sequential 2D-to-3D lifting human pose estimation. As a pioneering work, PoseFormer captures spatial relations of human joints in each video frame and human dynamics across frames with cascaded transformer layers and has achieved impressive performance. However, in real scenarios, the performance of PoseFormer and its follow-ups is limited by two factors: (a) The length of the input joint sequence; (b) The quality of 2D joint detection. Existing methods typically apply self-attention to all frames of the input sequence, causing a huge computational burden when the frame number is increased to obtain advanced estimation accuracy, and they are not robust to noise naturally brought by the limited capability of 2D joint detectors. In this paper, we propose PoseFormerV2, which exploits a compact representation of lengthy skeleton sequences in the frequency domain to efficiently scale up the receptive field and boost robustness to noisy 2D joint detection. With minimum modifications to PoseFormer, the proposed method effectively fuses features both in the time domain and frequency domain, enjoying a better speed-accuracy trade-off than its precursor. Extensive experiments on two benchmark datasets (i.e., Human3.6M and MPI-INF-3DHP) demonstrate that the proposed approach significantly outperforms the original PoseFormer and other transformer-based variants. Code is released at \url{https://github.com/QitaoZhao/PoseFormerV2}.

研究动机与目标

• 解决基于 Transformer 的 3D 姿态估计在处理长 2D 骨骼序列时的高计算成本问题。
• 提升对来自真实世界检测器（如 CPN）的噪声 2D 关节检测的鲁棒性。
• 在显著降低推理与训练时间的同时，保持或提升精度。
• 探索使用频域表征（DCT）作为紧凑的全局序列表征，以增强模型泛化能力。
• 在不进行架构全面重构的前提下，实现更优的速度-精度权衡，同时保持与现有模型（如 PoseFormer）的兼容性。

提出的方法

• 对输入的 2D 关节序列应用离散余弦变换（DCT），提取低频系数作为紧凑的全局表征。
• 仅保留中心区域的 DCT 系数（例如，9× 或 27× 接收域扩展），以减少序列长度与计算负载。
• 通过双分支 Transformer 编码器，融合来自时域（原始序列）与频域（DCT 系数）的特征。
• 以最小的架构改动，将频域表征集成到 PoseFormer 的空间与时间编码器中。
• 采用可学习的标记化与位置编码方案，以在频域表征中保留空间与时间结构。
• 采用两阶段设计：首先对每帧的关节点标记进行空间自注意力；其次对帧标记进行时间自注意力，其特征由频域信息增强。

实验结果

研究问题

• RQ1 通过 DCT 的频域表征能否提升基于 Transformer 的 3D 人体姿态估计的效率与鲁棒性？
• RQ2 仅使用低频 DCT 系数子集与完整序列相比，对性能与计算成本的影响如何？
• RQ3 频域融合在不重新训练的情况下，能在多大程度上降低对噪声 2D 关节检测的敏感性？
• RQ4 在严重 2D 检测错误下，该方法能否保持 3D 姿态估计的时间一致性？
• RQ5 该频域方法能否推广至 PoseFormer 以外的其他基于 Transformer 的 3D HPE 模型？

主要发现

• PoseFormerV2 在 Human3.6M（Protocol 1）上实现 8.2mm MPJPE，仅需 0.35 GFLOPs，优于 PoseFormerV1（13.0mm，1.36 GFLOPs）及其他 SOTA 方法。
• 在 27× 接收域扩展下，PoseFormerV2 将计算成本降低至 0.12 GFLOPs，实现 9.7mm MPJPE，相比 PoseFormerV1 实现 4.6 倍加速。
• 在噪声 CPN 2D 检测下，PoseFormerV2 保持 9.7mm MPJPE，显著优于 PoseFormerV1 的 44.3mm 下降，证明其强大鲁棒性。
• 定性结果表明，即使在遮挡、关节点缺失与 2D 关节点错位情况下，PoseFormerV2 仍能正确估计 3D 姿态，凸显其时间稳定性。
• 该方法具有良好的泛化能力：应用于 MHFormer 与 MixSTE 时，显著提升鲁棒性并降低 FLOPs，证实其兼容性与可迁移性。
• 频域表征提供了运动的全局视图，有效抑制帧级噪声，增强模型在帧间的一致性。