[论文解读] HAN: An Efficient Hierarchical Self-Attention Network for Skeleton-Based Gesture Recognition

Jianbo Liu, Ying Wang+2 more|arXiv (Cornell University)|Jun 25, 2021

Hand Gesture Recognition Systems参考文献 46被引用 6

一句话总结

本文提出HAN，一种用于基于骨骼手势识别的轻量化分层自注意力网络，用纯自注意力机制替代CNN、RNN和GCN。通过分层建模手部关节——利用关节自注意力捕捉指节级特征，通过手指自注意力实现手部级聚合，利用时间自注意力建模时序动态，通过融合自注意力完成最终特征融合，该方法在三个基准数据集上实现了最先进准确率，同时显著降低了计算复杂度。

ABSTRACT

Previous methods for skeleton-based gesture recognition mostly arrange the skeleton sequence into a pseudo picture or spatial-temporal graph and apply deep Convolutional Neural Network (CNN) or Graph Convolutional Network (GCN) for feature extraction. Although achieving superior results, these methods have inherent limitations in dynamically capturing local features of interactive hand parts, and the computing efficiency still remains a serious issue. In this work, the self-attention mechanism is introduced to alleviate this problem. Considering the hierarchical structure of hand joints, we propose an efficient hierarchical self-attention network (HAN) for skeleton-based gesture recognition, which is based on pure self-attention without any CNN, RNN or GCN operators. Specifically, the joint self-attention module is used to capture spatial features of fingers, the finger self-attention module is designed to aggregate features of the whole hand. In terms of temporal features, the temporal self-attention module is utilized to capture the temporal dynamics of the fingers and the entire hand. Finally, these features are fused by the fusion self-attention module for gesture classification. Experiments show that our method achieves competitive results on three gesture recognition datasets with much lower computational complexity.

研究动机与目标

• 为解决CNN和GCN在捕捉手势识别中骨骼关节间动态交互特征方面的局限性。
• 克服伪图像和时空图在建模关节交互时的固定结构约束。
• 设计一种轻量化、高效的深度学习架构，以实现实时基于骨骼的手势识别。
• 利用手部关节（手指与手掌）的分层结构，提升特征表示与分类准确率。

提出的方法

• 将手部关节划分为6个部分（5根手指和手掌），以支持分层特征学习。
• 关节自注意力（J-Att）通过建模其四个关节之间的注意力，捕捉每根手指内部的空间特征。
• 手指自注意力（F-Att）聚合所有手指与手掌的特征，形成整体的手部表征。
• 时间自注意力（T-Att）对帧间长期时序依赖关系进行建模，适用于指节级与手部级特征。
• 融合自注意力（Fusion-Att）结合来自手指和手部的时序特征，完成最终手势分类。
• 网络在J-Att与T-Att模块中使用共享权重的多头自注意力机制，以减少参数量并防止过拟合。

Figure 1: The motion of hand joints for gesture “Pinch”. The arrows represent the movements of hand joints. The motion of four joints in each finger has a similar tendency.

实验结果

研究问题

• RQ1 纯自注意力机制是否能在降低计算成本的同时，优于基于CNN与GCN的方法在基于骨骼的手势识别中表现？
• RQ2 分层注意力在捕捉手势序列中局部指节动态与全局手部交互方面是否高效？
• RQ3 注意力可视化是否证实模型在手势识别过程中聚焦于最具判别性的关节与帧？
• RQ4 在小型手势数据集上，超参数设置（如头数、维度、dropout率）为何种配置时性能最优？
• RQ5 在J-Att与T-Att模块中共享权重是否能在降低模型复杂度的同时保持性能？

主要发现

• HAN在SHREC’17 Track 14手势数据集上达到95.00%的准确率，优于先前方法，且计算复杂度显著降低。
• 最优注意力头数为8，性能在此之后趋于饱和。
• 头维度为32时，在特征表示与过拟合之间达到最佳平衡。
• dropout率设为0.1时泛化性能最佳，更高率导致欠拟合。
• 在J-Att与T-Att模块中共享权重可减少参数量并提升性能，最终实现95.00%准确率。
• 注意力可视化证实模型聚焦于最动态的关节（如‘捏’手势中的拇指与食指）及关键帧，验证了其可解释性。

Figure 2: The framework of our proposed Hierarchical Self-Attention Network (HAN). The hand is divided into 6 parts, joints of each part are fed into J-Att to extract finger features. These finger features are aggregated to hand features using F-Att . T-Att is used to capture temporal features of fi