[论文解读] GestFormer: Multiscale Wavelet Pooling Transformer Network for Dynamic Hand Gesture Recognition

Mallika Garg, Debashis Ghosh+1 more|arXiv (Cornell University)|May 18, 2024

Hand Gesture Recognition Systems被引用 4

一句话总结

本文提出GestFormer，一种基于Transformer的资源高效模型，用于动态手势识别。该模型通过多尺度小波池化注意力（MWPA）机制和门控前馈网络（GFFN）替代传统的二次方注意力机制。通过利用小波变换和多尺度池化，GestFormer在NVGesture和Briareo数据集上实现了最先进准确率，且参数量和乘加操作（MAC）数量少于标准Transformer。

ABSTRACT

Transformer model have achieved state-of-the-art results in many applications like NLP, classification, etc. But their exploration in gesture recognition task is still limited. So, we propose a novel GestFormer architecture for dynamic hand gesture recognition. The motivation behind this design is to propose a resource efficient transformer model, since transformers are computationally expensive and very complex. So, we propose to use a pooling based token mixer named PoolFormer, since it uses only pooling layer which is a non-parametric layer instead of quadratic attention. The proposed model also leverages the space-invariant features of the wavelet transform and also the multiscale features are selected using multi-scale pooling. Further, a gated mechanism helps to focus on fine details of the gesture with the contextual information. This enhances the performance of the proposed model compared to the traditional transformer with fewer parameters, when evaluated on dynamic hand gesture datasets, NVidia Dynamic Hand Gesture and Briareo datasets. To prove the efficacy of the proposed model, we have experimented on single as well multimodal inputs such as infrared, normals, depth, optical flow and color images. We have also compared the proposed GestFormer in terms of resource efficiency and number of operations. The source code is available at https://github.com/mallikagarg/GestFormer.

研究动机与目标

• 解决标准Transformer在动态手势识别中计算成本高、复杂度大的问题。
• 通过用非参数化池化层替代注意力机制，提升模型效率。
• 利用小波变换和多尺度上下文建模增强特征表示能力。
• 设计一种门控机制，选择性地过滤并优化各阶段的特征流。
• 在单模态和多模态输入下实现卓越性能，同时最小化参数量和MAC操作数。

提出的方法

• 模型以PoolFormer为基础，将注意力机制替换为非参数化平均池化层，以降低计算复杂度。
• 提出一种新型多尺度小波池化注意力（MWPA）机制，在应用多尺度池化前将输入特征映射到小波空间，以增强长距离特征学习能力。
• 门控前馈网络（GFFN）控制Transformer模块之间的信息流，提升特征精炼与表征能力。
• 为验证模型在不同传感器类型下的鲁棒性，模型在深度图、RGB、红外、光流和法向量模态上进行了评估。
• 多尺度池化采用三种不同滤波器大小，以在多个分辨率下提取分层空间特征。
• 模型在NVGesture和Briareo数据集上端到端训练，使用交叉熵损失和AdamW优化器。

Figure 1 : Some samples of depth (first row) and surface normals (last row) from the NVGesture and Briareo dataset.These samples are taken from [ 20 ] .

实验结果

研究问题

• RQ1 非注意力机制的Transformer架构是否能在降低计算成本的同时，实现动态手势识别的竞争力性能？
• RQ2 集成小波变换与多尺度池化如何提升手势识别中的特征表示能力？
• RQ3 门控前馈机制是否能在低参数量设置下增强特征精炼与模型准确率？
• RQ4 与单模态输入相比，多模态融合（RGB、深度图、红外、光流、法向量）对性能有何影响？
• RQ5 轻量化模型是否能在无多模态融合的情况下，仍优于标准Transformer？

主要发现

• 在NVGesture数据集上，GestFormer在使用全部五种模态（RGB、深度图、红外、光流、法向量）时达到85.85%的准确率，优于基线Transformer模型。
• 在Briareo数据集上，GestFormer仅使用红外输入即达到98.13%的准确率，超越其他最先进方法，即使未采用多模态融合。
• 消融实验表明，多尺度池化、小波变换和门控网络各组件均对性能有逐步贡献，完整模型在NVGesture深度模态上达到80.21%的准确率。
• GestFormer仅使用24.08百万参数和60.40 GFLOPs（MAC操作数），略少于标准Transformer（24.30M参数，62.92 GFLOPs），证明了其更高的效率。
• 模型在光流输入上也优于基线Transformer，表明其对时间运动特征具有鲁棒性。
• 即使仅使用单模态输入，GestFormer仍优于其他最先进方法，尤其在Briareo数据集上，仅使用红外模态即达到98.13%的准确率。

Figure 2 : The overall architecture of the proposed GestFormer for dynamic hand gesture recognition. The proposed GestFormer consists of Multiscale Wavelet Pyramid Attention module which comprises of Wavelet Coefficient Processing (WCP) and Multi-scale Pooling architecture (MSP) to perform learning