[论文解读] Exploiting Temporal Contexts with Strided Transformer for 3D Human Pose Estimation

Wenhao Li, Hong Liu+4 more|arXiv (Cornell University)|Mar 26, 2021

Human Pose and Action Recognition参考文献 55被引用 16

一句话总结

本文提出了一种新型基于Transformer的架构——Strided Transformer，通过在前馈网络中引入步幅卷积，从长序列2D姿态中分层聚合全局与局部时间上下文，显著降低计算量的同时提升3D姿态估计精度。该方法在Human3.6M和HumanEva-I数据集上实现了最先进性能，参数量更少，且通过端到端单帧监督方案实现了更优的时间平滑性。

ABSTRACT

Despite the great progress in 3D human pose estimation from videos, it is still an open problem to take full advantage of a redundant 2D pose sequence to learn representative representations for generating one 3D pose. To this end, we propose an improved Transformer-based architecture, called Strided Transformer, which simply and effectively lifts a long sequence of 2D joint locations to a single 3D pose. Specifically, a Vanilla Transformer Encoder (VTE) is adopted to model long-range dependencies of 2D pose sequences. To reduce the redundancy of the sequence, fully-connected layers in the feed-forward network of VTE are replaced with strided convolutions to progressively shrink the sequence length and aggregate information from local contexts. The modified VTE is termed as Strided Transformer Encoder (STE), which is built upon the outputs of VTE. STE not only effectively aggregates long-range information to a single-vector representation in a hierarchical global and local fashion, but also significantly reduces the computation cost. Furthermore, a full-to-single supervision scheme is designed at both full sequence and single target frame scales applied to the outputs of VTE and STE, respectively. This scheme imposes extra temporal smoothness constraints in conjunction with the single target frame supervision and hence helps produce smoother and more accurate 3D poses. The proposed Strided Transformer is evaluated on two challenging benchmark datasets, Human3.6M and HumanEva-I, and achieves state-of-the-art results with fewer parameters. Code and models are available at \url{https://github.com/Vegetebird/StridedTransformer-Pose3D}.

研究动机与目标

• 为解决在2D姿态序列中高效建模长程时间依赖关系以进行3D人体姿态估计的挑战。
• 降低标准Transformer在处理长视频序列时的二次方计算复杂度。
• 在逐步缩短序列长度的同时保留细粒度的局部特征，避免池化导致的信息损失。
• 通过引入端到单帧的监督方案，提升估计精度与时间平滑性。

提出的方法

• 用步幅卷积替换标准Transformer编码器（VTE）前馈网络中的全连接层，逐步减少序列长度并聚合局部与全局上下文。
• 提出Strided Transformer编码器（STE），用于处理VTE输出，生成2D姿态序列的紧凑且分层的表示。
• 设计端到单帧的监督方案，在完整序列与单个目标帧两个层级施加监督，以增强时间一致性。
• 在VTE中使用多头自注意力机制以建模所有帧之间的长程依赖，而STE中的步幅卷积则专注于局部模式聚合。
• 通过组合序列级损失与帧级损失进行端到端训练，以提升模型鲁棒性与精度。
• 采用两阶段训练策略，联合优化VTE与STE，以学习互补的表示。

实验结果

研究问题

• RQ1 在Transformer的前馈网络中使用步幅卷积是否能有效减少序列长度，同时保留对3D姿态估计至关重要的时间信息？
• RQ2 Strided Transformer中分层的全局与局部特征聚合机制相比标准Transformer，如何提升3D姿态估计的精度？
• RQ3 端到单帧的监督方案在多大程度上提升了预测3D姿态的时间平滑性与表示质量？
• RQ4 所提出的方法是否能在参数量更少、计算成本更低的前提下，实现优于现有基于Transformer方法的SOTA性能？

主要发现

• 所提出的Strided Transformer在Human3.6M和HumanEva-I数据集上均达到SOTA性能，其中在Human3.6M上的平均MPJPE为40.2 mm，在HumanEva-I上的平均MPJPE为47.6 mm。
• 将前馈网络替换为步幅卷积可显著降低计算成本，同时保持或提升相比标准Transformer的精度。
• 与基于池化的基线相比，端到单帧的监督方案将MPJPE降低了0.4 mm，证明其在提升时间平滑性方面的有效性。
• 移除VTE模块后，MPJPE增加1.1 mm，凸显其在建模长程依赖关系中的关键作用。
• 移除STE模块后，MPJPE上升至47.6 mm，证实其在分层局部与全局特征聚合中的重要性。
• 定性结果表明，即使在快速运动与部分遮挡的野外视频中，该模型仍能生成真实且结构合理的3D姿态。