[論文レビュー] HAN: An Efficient Hierarchical Self-Attention Network for Skeleton-Based Gesture Recognition

Jianbo Liu, Ying Wang+2 more|arXiv (Cornell University)|Jun 25, 2021

Hand Gesture Recognition Systems参考文献 46被引用数 6

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）、再帰ニューラルネットワーク（RNN）、グラフ畳み込みネットワーク（GCN）の代わりに純粋な自己注意メカニズムを用いる、軽量な階層的自己注意ネットワーク（HAN）を提案する。手の関節を階層的にモデル化することで、関節内の自己注意により指レベルの特徴を捉え、指の自己注意により手レベルの特徴を集約し、時間的自己注意により時間的ダイナミクスをモデル化し、最後に統合自己注意により特徴を統合する。この手法により、3つのベンチマークデータセットで最先端の精度を達成するとともに、計算複雑度を著しく低減した。

ABSTRACT

Previous methods for skeleton-based gesture recognition mostly arrange the skeleton sequence into a pseudo picture or spatial-temporal graph and apply deep Convolutional Neural Network (CNN) or Graph Convolutional Network (GCN) for feature extraction. Although achieving superior results, these methods have inherent limitations in dynamically capturing local features of interactive hand parts, and the computing efficiency still remains a serious issue. In this work, the self-attention mechanism is introduced to alleviate this problem. Considering the hierarchical structure of hand joints, we propose an efficient hierarchical self-attention network (HAN) for skeleton-based gesture recognition, which is based on pure self-attention without any CNN, RNN or GCN operators. Specifically, the joint self-attention module is used to capture spatial features of fingers, the finger self-attention module is designed to aggregate features of the whole hand. In terms of temporal features, the temporal self-attention module is utilized to capture the temporal dynamics of the fingers and the entire hand. Finally, these features are fused by the fusion self-attention module for gesture classification. Experiments show that our method achieves competitive results on three gesture recognition datasets with much lower computational complexity.

研究の動機と目的

• ジェスチャー認識における骨格関節間の動的かつ相互作用的な特徴を捉えるために、CNN や GCN の限界を克服すること。
• 関節相互作用をモデル化する際の、擬似画像や空間時間的グラフの固定された構造的制約を克服すること。
• リアルタイムの骨格ベースジェスチャー認識に適した、軽量で効率的なディープラーニングアーキテクチャを設計すること。
• 指と掌の階層的構造を活用して、特徴表現と分類精度を向上させること。

提案手法

• 手の関節を6つの部分（5本の指と掌）に分割することで、階層的特徴学習を可能にする。
• 関節自己注意（J-Att）は、各指の4つの関節間の注目をモデル化することで、空間的特徴を捉える。
• 指の自己注意（F-Att）は、すべての指と掌の特徴を集約し、包括的な手の特徴表現を形成する。
• 時間的自己注意（T-Att）は、フレーム間の長距離時間的依存関係を、指レベルおよび手レベルの特徴に対してモデル化する。
• 統合自己注意（Fusion-Att）は、指と手の両方の時間的特徴を統合し、最終的なジェスチャー分類を実行する。
• J-Att および T-Att モジュール間で重みを共有する多頭注目を用いることで、パラメータ数を削減し、過学習を防止する。

Figure 1: The motion of hand joints for gesture “Pinch”. The arrows represent the movements of hand joints. The motion of four joints in each finger has a similar tendency.

実験結果

リサーチクエスチョン

• RQ1 純粋な自己注意メカニズムは、計算コストを低減しつつ、CNN や GCN を用いた手法を上回る性能を達成できるか？
• RQ2 階層的注目は、ジェスチャー系列における局所的指のダイナミクスとグローバルな手の相互作用をどれほど効果的に捉えられるか？
• RQ3 注目可視化により、モデルがジェスチャー認識の際に最も特徴的な関節やフレームに注目していることが確認できるか？
• RQ4 ハイパーパrameter設定（例：ヘッド数、次元、ドロップアウト率）は、小規模なジェスチャーデータセットで最適な性能を発揮するか？
• RQ5 J-Att および T-Att モジュール間での重み共有は、モデルの複雑度を低減しつつ性能を維持できるか？

主な発見

• HAN は、SHREC’17 Track 14-gesture データセットで 95.00% の精度を達成し、計算複雑度を著しく低減した既存手法を上回った。
• 最適な注目ヘッド数は 8 であり、それ以上になると性能が飽和する。
• ヘッド次元が 32 の場合、特徴表現と過学習のバランスが最良となる。
• ドロップアウト率が 0.1 の場合、一般化性能が最も高く、それ以上の値は過学習を引き起こす。
• J-Att および T-Att モジュールでの重み共有により、パラメータ数が削減され、性能が向上し、95.00% の精度を達成した。
• 注目可視化により、モデルが最も動的な関節（例：『ピンチ』ジェスチャーにおける親指と人差し指）や重要なフレームに注目していることが確認され、解釈可能性が裏付けられた。

Figure 2: The framework of our proposed Hierarchical Self-Attention Network (HAN). The hand is divided into 6 parts, joints of each part are fed into J-Att to extract finger features. These finger features are aggregated to hand features using F-Att . T-Att is used to capture temporal features of fi