[论文解读] IIP-Transformer: Intra-Inter-Part Transformer for Skeleton-Based Action Recognition

Qingtian Wang, Jianlin Peng+4 more|arXiv (Cornell University)|Oct 26, 2021

Human Pose and Action Recognition参考文献 45被引用 13

一句话总结

IIP-Transformer 提出了一种基于 Transformer 的新型骨架动作识别架构，能够同时建模关节级别（内部部件）和身体部位级别（部件间）的依赖关系，与当前最先进方法相比，计算成本最高可降低 36 倍。该方法采用基于部件的标记化和可学习分类标记，提升了效率并增强了对噪声关节的鲁棒性，在 NTU RGB+D 60/120 数据集上实现了最先进性能，且 FLOPs 显著降低。

ABSTRACT

Recently, Transformer-based networks have shown great promise on skeleton-based action recognition tasks. The ability to capture global and local dependencies is the key to success while it also brings quadratic computation and memory cost. Another problem is that previous studies mainly focus on the relationships among individual joints, which often suffers from the noisy skeleton joints introduced by the noisy inputs of sensors or inaccurate estimations. To address the above issues, we propose a novel Transformer-based network (IIP-Transformer). Instead of exploiting interactions among individual joints, our IIP-Transformer incorporates body joints and parts interactions simultaneously and thus can capture both joint-level (intra-part) and part-level (inter-part) dependencies efficiently and effectively. From the data aspect, we introduce a part-level skeleton data encoding that significantly reduces the computational complexity and is more robust to joint-level skeleton noise. Besides, a new part-level data augmentation is proposed to improve the performance of the model. On two large-scale datasets, NTU-RGB+D 60 and NTU RGB+D 120, the proposed IIP-Transformer achieves the-state-of-art performance with more than 8x less computational complexity than DSTA-Net, which is the SOTA Transformer-based method.

研究动机与目标

• 解决基于 Transformer 的骨架动作识别中计算成本高且对噪声关节敏感的问题。
• 通过同时建模关节级别（内部部件）和身体部位级别（部件间）的交互关系，提升模型鲁棒性。
• 通过基于部件的标记化和 Transformer 架构中的时空分离，降低计算复杂度。
• 通过一种新颖的基于部件的数据增强策略（Part-Mask），促进全局推理，提升泛化能力。
• 与现有方法相比，在显著降低 FLOPs 和模型大小的前提下，实现最先进性能。

提出的方法

• 提出一种新颖的内部-部件间自注意力机制，可在不增加计算成本的前提下，联合建模内部部件和部件间依赖关系。
• 通过将关节分组为身体部位（如四肢、躯干）实现基于部件的骨架编码，将序列长度和自注意力复杂度降低 v²/p²。
• 采用可学习的分类标记代替全局平均池化来聚合特征，受 BERT 启发，提升表征学习能力。
• 设计统一的时空 Transformer 架构，分离空间与时间建模，降低模型大小并提升泛化能力。
• 提出 Part-Mask 数据增强方法，在训练过程中随机遮蔽整个身体部位，以减少对特定部位的依赖。
• 采用多流融合策略，结合关节、骨骼、关节运动和骨骼运动模态，以实现与最先进方法的公平比较。

实验结果

研究问题

• RQ1 在统一的 Transformer 架构中同时建模内部部件和部件间依赖关系，是否能提升动作识别准确率？
• RQ2 基于部件的标记化是否能在保持或提升对噪声骨架关节鲁棒性的同时，降低计算复杂度？
• RQ3 像 Part-Mask 这类基于部件的数据增强策略，是否能增强模型泛化能力并减少对特定身体部位的过度依赖？
• RQ4 在大规模骨架数据集上，所提出的 IIP-Transformer 与现有最先进方法相比，在准确率和效率方面表现如何？
• RQ5 Transformer 架构中的时空分离在不牺牲性能的前提下，能在多大程度上降低 FLOPs？

主要发现

• 在 NTU RGB+D 60（X-Sub）上，IIP-Transformer 达到 92.3% 的 top-1 准确率，较之前最先进方法 DSTA 提升 0.8%。
• 在 NTU RGB+D 120（X-Set）上，IIP-Transformer 达到 89.7% 的准确率，较 DSTA 提升 0.7%。
• 与 DSTA-Net 相比，该模型将 FLOPs 降低了 36 倍，仅需 7.2G FLOPs，而 DSTA-Net 为 259.4G，同时参数量相近。
• Part-Mask 数据增强使 X-Sub 上的准确率较基线提升 1.3%，优于基于关节级别的增强方法（如 Gaussian-Noise 和 Joint-Mask）。
• 消融实验证实，基于部件的编码可使计算成本降低 v²/p²，且时空 Transformer 架构设计可减小模型大小并提升泛化能力。
• 结合四种模态（关节、骨骼、关节运动、骨骼运动）的多流融合在所有基准测试中均带来一致的性能提升。