[論文レビュー] Construct Dynamic Graphs for Hand Gesture Recognition via Spatial-Temporal Attention

Yuxiao Chen, L. Zhao+3 more|arXiv (Cornell University)|Jul 20, 2019

Hand Gesture Recognition Systems参考文献 37被引用数 31

ひとこと要約

本論文では、手のスケルトン系列から動的で注目メカニズムに基づくグラフを学習する、動的グラフベースの空間時系列アテンション（DG-STA）を提案する。完全接続グラフに空間時系列自己アテンションを適用することで、エッジ重みとノード特徴量を動的に学習し、DHG-14/28およびSHREC’17ベンチマークで91.9%および94.4%のトップ1精度を達成し、SOTAの性能を実現した。同時に、新規の空間時系列マスクを用いることで計算量を99%削減した。

ABSTRACT

We propose a Dynamic Graph-Based Spatial-Temporal Attention (DG-STA) method for hand gesture recognition. The key idea is to first construct a fully-connected graph from a hand skeleton, where the node features and edges are then automatically learned via a self-attention mechanism that performs in both spatial and temporal domains. We further propose to leverage the spatial-temporal cues of joint positions to guarantee robust recognition in challenging conditions. In addition, a novel spatial-temporal mask is applied to significantly cut down the computational cost by 99%. We carry out extensive experiments on benchmarks (DHG-14/28 and SHREC'17) and prove the superior performance of our method compared with the state-of-the-art methods. The source code can be found at https://github.com/yuxiaochen1103/DG-STA.

研究の動機と目的

• 固定構造のグラフでは動的で変化する手のジェスチャーの変化を捉えることが難しいという制限を解決すること。
• 手関節系列における空間的および時系列的依存関係を明示的にモデル化することで、スケルトンベースの手ジェスチャー認識を向上させること。
• 性能を損なわずにグラフベースのモデルにおける計算コストを低減すること。
• 人間の動き理解におけるグラフベースの時系列モデリングに一般化可能なフレームワークを構築すること。

提案手法

• ノードを関節、エッジを自己アテンションによる動的学習で得る完全接続グラフを手のスケルトン関節から構築する。
• 空間的および時系列的次元において、エッジ重みとノード特徴量を同時に最適化するため、空間時系列自己アテンションを適用する。
• 関節の識別子と時系列順序を符号化するため、空間時系列位置埋め込みを導入し、特徴表現を強化する。
• 無関係なアテンションスコアを抑制する新しい空間時系列マスクを採用し、FLOPsを99%削減する。
• アテンションモジュール内で学習可能なクエリ・キー・バリュー機構を用い、時間経過に伴い関連のある関節関係に適応的に注目する。
• 3次元関節座標の系列を入力とし、アクションごとにグラフ構造を進化させることで表現力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己アテンションによる動的グラフ構築は、固定構造のグラフを上回るジェスチャー認識性能を達成できるか？
• RQ2 空間時系列アテンションは、手ジェスチャーの空間的構成と時系列的ダイナミクスの両方をどれほど効果的にモデル化できるか？
• RQ3 空間時系列マスクは、認識精度を維持したまま計算コストをどの程度低減できるか？
• RQ4 提案手法は、ノイズが多いか可変長の系列を含む困難なデータセットに対しても一般化できるか？

主な発見

• DG-STAはDHG-14/28データセットで91.9%の精度を達成し、以前のSOTA（ST-GCN：91.2%、STA-Res-TCN：89.2%）を上回った。
• より困難なSHREC’17トラックデータセットでは、14ジェスチャー設定で94.4%の精度を達成し、すべての先行手法を上回った。
• 提案された空間時系列マスクのおかげで計算コストを99%削減し、長時間系列の効率的推論を可能にした。
• 空間時系列位置埋め込みにより、関節の識別子と時系列順序を符号化することで、特徴表現が向上し、アテンションの精度が向上した。
• 空間的および時系列的構造を明示的にモデル化しない手法と比較して、DG-STAは顕著に優れた性能を示し、ジェスチャー認識におけるこれらの構造の重要性を確認した。
• シンプルなアーキテクチャであるにもかかわらず、28ジェスチャーのSHREC’17設定においてもSTA-Res-TCNと同等の性能を達成し、一般化性能が優れていることが示された。