[論文レビュー] GestFormer: Multiscale Wavelet Pooling Transformer Network for Dynamic Hand Gesture Recognition

Mallika Garg, Debashis Ghosh+1 more|arXiv (Cornell University)|May 18, 2024

Hand Gesture Recognition Systems被引用数 4

ひとこと要約

本稿では、二次的注意機構をマルチスケールウェーブレットプーリング注意（MWPA）機構とゲート付きフィードフォワードネットワーク（GFFN）に置き換えることで、リソース効率の良いTransformerベースのモデル、GestFormerを提案する。ウェーブレット変換とマルチスケールプーリングを活用することで、標準のTransformerよりも少ないパラメータ数とMAC演算回数で、NVGestureおよびBriareoデータセットにおいて最先端の精度を達成した。

ABSTRACT

Transformer model have achieved state-of-the-art results in many applications like NLP, classification, etc. But their exploration in gesture recognition task is still limited. So, we propose a novel GestFormer architecture for dynamic hand gesture recognition. The motivation behind this design is to propose a resource efficient transformer model, since transformers are computationally expensive and very complex. So, we propose to use a pooling based token mixer named PoolFormer, since it uses only pooling layer which is a non-parametric layer instead of quadratic attention. The proposed model also leverages the space-invariant features of the wavelet transform and also the multiscale features are selected using multi-scale pooling. Further, a gated mechanism helps to focus on fine details of the gesture with the contextual information. This enhances the performance of the proposed model compared to the traditional transformer with fewer parameters, when evaluated on dynamic hand gesture datasets, NVidia Dynamic Hand Gesture and Briareo datasets. To prove the efficacy of the proposed model, we have experimented on single as well multimodal inputs such as infrared, normals, depth, optical flow and color images. We have also compared the proposed GestFormer in terms of resource efficiency and number of operations. The source code is available at https://github.com/mallikagarg/GestFormer.

研究の動機と目的

• 動的ハンドジェスチャー認識における標準のTransformerの高い計算コストと複雑さに対処すること。
• 注意機構をパrameter-freeなプーリング層に置き換えることで、モデルの効率を向上させること。
• ウェーブレット変換とマルチスケールの文脈モデリングを用いて特徴表現を強化すること。
• 段階間の特徴フローを効果的にフィルタリング・精錬するゲート機構を開発すること。
• 単一およびマルチモodalな入力において優れた性能を発揮しながら、パラメータ数とMAC演算回数を最小限に抑えること。

提案手法

• モデルはPoolFormerをベースとし、計算複雑度を低減するために注意機構をパラメータフリーの平均プーリング層に置き換えている。
• 新規のマルチスケールウェーブレットプールイング注意（MWPA）機構は、入力特徴をウェーブレット空間にマッピングした後、マルチスケールプーリングを適用することで、長距離特徴の学習を強化する。
• ゲート付きフィードフォワードネットワーク（GFFN）は、Transformerブロック間の情報フローを制御し、特徴の精錬と表現を向上させる。
• モデルは、深さ、RGB、赤外線、オプティカルフロー、表面法線モダリティの5種類のセンサタイプに対して評価され、異なるセンサタイプ間での耐性を検証した。
• マルチスケールプーリングは、3種類の異なるフィルタサイズを用いて、複数の解像度で階層的な空間的特徴を抽出する。
• モデルは、交差エントロピー損失関数とAdamW最適化手法を用いて、NVGestureおよびBriareoデータセット上でエンドツーエンドに訓練された。

Figure 1 : Some samples of depth (first row) and surface normals (last row) from the NVGesture and Briareo dataset.These samples are taken from [ 20 ] .

実験結果

リサーチクエスチョン

• RQ1 注意機構に依存しないTransformerアーキテクチャは、計算コストを削減しながらも、動的ハンドジェスチャー認識で競争力のある性能を達成できるか？
• RQ2 ウェーブレット変換とマルチスケールプーリングを統合することで、ジェスチャー認識における特徴表現がどのように向上するか？
• RQ3 ゲート付きフィードフォワード機構は、パラメータ数が少ない状況下でも、特徴の精錬とモデルの精度を向上させるか？
• RQ4 RGB、深さ、赤外線、オプティカルフロー、法線などのマルチモーダル融合は、単一モーダル入力と比較して性能にどのように影響するか？
• RQ5 マルチモーダル融合なしであっても、軽量モデルが標準のTransformerを上回る性能を発揮できるか？

主な発見

• NVGestureデータセットでは、GestFormerはRGB、深さ、赤外線、オプティカルフロー、法線の5モーダルを組み合わせた場合に85.85%の精度を達成し、ベースラインのTransformerを上回った。
• Briareoデータセットでは、GestFormerは赤外線入力のみで98.13%の精度を達成し、マルチモーダル融合なしでも他の最先端手法を上回った。
• アブレーションスタディの結果、マルチスケールプーリング、ウェーブレット変換、ゲートネットワークの各コンポonentが性能向上に段階的に寄与しており、完全なモデルではNVGestureの深さモーダルで80.21%の精度に達した。
• GestFormerはわずか24.08百万のパラメータと60.40 GFLOPs（MAC演算）を用い、標準のTransformer（24.30Mパラメータ、62.92 GFLOPs）よりもわずかに少ない計算コストで、効率性の向上を示した。
• オプティカルフロー入力に対しても、ベースラインのTransformerよりも優れた性能を発揮したため、時間的運動特徴に対して高い耐性を示した。
• 単一モーダル入力でも、GestFormerは他の最先端手法を上回った。特にBriareoデータセットでは、赤外線のみで98.13%の精度を達成し、顕著な優位性を示した。

Figure 2 : The overall architecture of the proposed GestFormer for dynamic hand gesture recognition. The proposed GestFormer consists of Multiscale Wavelet Pyramid Attention module which comprises of Wavelet Coefficient Processing (WCP) and Multi-scale Pooling architecture (MSP) to perform learning