[论文解读] A Two-stream Neural Network for Pose-based Hand Gesture Recognition

Chuankun Li, Shuai Li+3 more|arXiv (Cornell University)|Jan 22, 2021

Hand Gesture Recognition Systems参考文献 47被引用 8

一句话总结

本文提出一种用于基于姿态的手势识别的双流神经网络，结合了基于自注意力的图卷积网络（SAGCN）以建模动态空间关系，以及通过残差连接增强的双向IndRNN（RBi-IndRNN）以捕捉长期时间依赖性。该方法在Dynamic Hand Gesture和First-Person Hand Action数据集上实现了最先进性能，优于以往方法，在识别具有相似运动模式的挑战性手势方面表现更优。

ABSTRACT

Pose based hand gesture recognition has been widely studied in the recent years. Compared with full body action recognition, hand gesture involves joints that are more spatially closely distributed with stronger collaboration. This nature requires a different approach from action recognition to capturing the complex spatial features. Many gesture categories, such as "Grab" and "Pinch", have very similar motion or temporal patterns posing a challenge on temporal processing. To address these challenges, this paper proposes a two-stream neural network with one stream being a self-attention based graph convolutional network (SAGCN) extracting the short-term temporal information and hierarchical spatial information, and the other being a residual-connection enhanced bidirectional Independently Recurrent Neural Network (RBi-IndRNN) for extracting long-term temporal information. The self-attention based graph convolutional network has a dynamic self-attention mechanism to adaptively exploit the relationships of all hand joints in addition to the fixed topology and local feature extraction in the GCN. On the other hand, the residual-connection enhanced Bi-IndRNN extends an IndRNN with the capability of bidirectional processing for temporal modelling. The two streams are fused together for recognition. The Dynamic Hand Gesture dataset and First-Person Hand Action dataset are used to validate its effectiveness, and our method achieves state-of-the-art performance.

研究动机与目标

• 为解决识别具有相似时间模式的手势（如'Grab'与'Pinch'）的挑战，这些手势对传统模型而言较困难。
• 通过捕捉超越固定骨骼拓扑结构的、与手势相关的关节协作关系，改进手部关节的空间建模。
• 有效学习手势序列中的长期时间依赖性，克服标准GCN感受野有限的问题。
• 开发一种鲁棒的深度学习框架，整合空间建模与长期时间建模，以提升手势识别准确率。
• 验证双向结构与残差连接在循环网络中用于时间特征学习在手势识别中的有效性。

提出的方法

• 该方法采用双流架构：其中一流使用基于自注意力的图卷积网络（SAGCN），通过学习的相关性图动态建模成对关节关系，同时保留静态手部骨骼拓扑结构。
• SAGCN集成了全局自注意力机制，以自适应地加权所有手部关节之间的关系，从而在固定局部连接之外增强空间特征学习。
• 第二流为通过残差连接增强的双向IndRNN（RBi-IndRNN），可实现深层、稳定且双向的时间建模，以捕捉手势序列中的长程依赖性。
• RBi-IndRNN利用残差连接缓解梯度消失问题，并支持更深的网络深度，以提升时间表征学习能力。
• 两流的特征在网络早期阶段进行融合，以整合空间信息与长期时间信息，用于最终分类。
• 模型通过联合世界坐标与时间位移特征，在骨架序列上进行端到端训练，以提升判别能力。

Figure 1: Framework of the proposed two-stream network. SAGCN module focuses on hierarchical spatial information and short-term temporal information, and RBi-IndRNN focuses on long-term temporal information.

实验结果

研究问题

• RQ1 自注意力机制是否能通过为每种手势自适应调整关节关系，改善图卷积网络在手势识别中的空间建模？
• RQ2 IndRNN中的双向处理是否能提升对具有细微时间差异的手势（如'Grab'与'Pinch'）的识别能力？
• RQ3 在深层双向RNN中，残差连接是否能有效捕捉标准GCN所遗漏的长期时间模式？
• RQ4 SAGCN（空间/短期）与RBi-IndRNN（长期时间）的互补优势如何共同提升整体识别性能？
• RQ5 双流融合在识别复杂手势方面相比单流模型的性能提升程度如何？

主要发现

• 所提出的双流网络在Dynamic Hand Gesture（DHG）数据集上实现了最先进准确率，优于现有手工设计与深度学习方法。
• 在DHG-14数据集上，当使用关节世界坐标与时间位移特征时，该方法实现了92.19%的分类准确率，较普通IndRNN高出3.05个百分点。
• 在FPHA数据集上，该方法在对比方法中达到最高准确率，混淆矩阵显示对大多数手势类别识别效果良好。
• SAGCN在空间变化大而时间运动小的手势（如'Swipe Left'）上表现最佳，而RBi-IndRNN则在复杂时间手势（如'Grab'）上表现更优。
• 消融实验证实，RBi-IndRNN中的双向处理与残差连接均显著提升性能，完整版RBi-IndRNN优于普通及单向变体。
• 尽管性能优异，但涉及手-物体交互的手势（如'open wallet'与'take letter from envelope'）识别仍具挑战，原因在于仅使用骨架表示存在局限。

Figure 2: Sample of hand skeleton in the DHG 14/28 dataset [ 8 ] . Referencing to the gravity center of the hand joints (purple cross), the neighbouring connected joints of each joint, called root (blue circle), are grouped into two: 1) centripetal group (yellow circle): adjacent nodes closer to the