[論文レビュー] Skeletal Graph Self-Attention: Embedding a Skeleton Inductive Bias into Sign Language Production

Ben Saunders, Necati Cihan Camgöz+1 more|arXiv (Cornell University)|Dec 6, 2021

Hand Gesture Recognition Systems被引用数 11

ひとこと要約

本稿では、関節をノード、空間的・時間的接続をエッジとするスパatio-temporalな骨格グラフとして手話の構造をモデル化することにより、手話生成に骨格のインダクティブバイアスを埋め込む新しいグラフベースのアテンション機構、Skeletal Graph Self-Attention (SGSA) を提案する。自己アテンション機構にスパースな隣接行列を直接組み込むことで、ネットワーク全体で構造的情報を保持し、PHOENIX14 T データセットで15.15 BLEU-4（開発セット）および14.33 BLEU-4（テストセット）という最先端の性能を達成した。これは従来手法比で8%および7%の向上を示している。

ABSTRACT

Recent approaches to Sign Language Production (SLP) have adopted spoken language Neural Machine Translation (NMT) architectures, applied without sign-specific modifications. In addition, these works represent sign language as a sequence of skeleton pose vectors, projected to an abstract representation with no inherent skeletal structure. In this paper, we represent sign language sequences as a skeletal graph structure, with joints as nodes and both spatial and temporal connections as edges. To operate on this graphical structure, we propose Skeletal Graph Self-Attention (SGSA), a novel graphical attention layer that embeds a skeleton inductive bias into the SLP model. Retaining the skeletal feature representation throughout, we directly apply a spatio-temporal adjacency matrix into the self-attention formulation. This provides structure and context to each skeletal joint that is not possible when using a non-graphical abstract representation, enabling fluid and expressive sign language production. We evaluate our Skeletal Graph Self-Attention architecture on the challenging RWTH-PHOENIX-Weather-2014T(PHOENIX14T) dataset, achieving state-of-the-art back translation performance with an 8% and 7% improvement over competing methods for the dev and test sets.

研究の動機と目的

• 既存の手話生成（SLP）モデルが骨格ポーズを抽象的なシーケンスとして扱うための構造的インダクティブバイアスの欠如に対処すること。
• 人間の運動に内在する空間的・時間的構造を保持することで、より表現的で滑らかな手話生成を実現すること。
• トランスフォーマーに基づくアーキテクチャ内で骨格トポロジーを明示的にモデル化する新しいアテンション機構の開発。
• 自己アテンションにグラフィカル構造を組み込むことで、SLPベンチマークにおける性能向上が可能であることを示すこと。

提案手法

• 関節をノード、関節間のリム接続をエッジとする、時空間的骨格グラフとして手話シーケンスを表現する。
• スパースな時空間的隣接行列を用いてアテンション計算を制約する、変更されたマルチヘッド自己アテンションレイヤーであるSkeletal Graph Self-Attention (SGSA) を提案する。
• 隣接行列を自己アテンションの値計算に直接統合し、空間的および局所的な時間的情報の伝搬を保証する。
• ネットワーク全体で生の骨格特徴表現を維持し、抽象的表現への投影を回避する。
• フレームレベルの依存関係をモデル化するためのグローバル時間的隣接行列を用い、時間的アテンションを直近の1フレームに制限する。
• テキストの見出しを用いたバックトランスレーションを用いて訓練し、テキストから表現的な手話動作をエンドツーエンドで学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的な空間的・時間的エッジを備えた骨格グラフとして手話をモデル化することで、手話生成の質が向上するか？
• RQ2 グラフィカルアテンション機構を用いて骨格のインダクティブバイアスを埋め込むことで、より表現的で自然な手話生成が達成できるか？
• RQ3 時間的隣接距離の選択が、SLPタスクにおけるモデル性能に与える影響は何か？
• RQ4 グラフに配慮した自己アテンション機構は、標準的なトランスフォーマーレイヤーを上回る性能を示せるか？

主な発見

• 提案されたSGSAモデルは、PHOENIX14 T データセットの開発セットで15.15 BLEU-4、テストセットで14.33 BLEU-4を達成し、新たな最先端性能を樹立した。
• SGSAレイヤーを5つ使用した場合が最良の性能を示し、14.72 BLEU-4のスコアを記録した。これは、より深いグラフモデリングが表現を向上させることを示している。
• 時間的隣接距離が1（局所的コンテキストのみ）の場合に最も高い性能を示し、モデルがマルコフ的インダクティブバイアスの恩恵を受けることが示された。
• SGSAレイヤーを標準的な自己アテンションレイヤーに置き換えると、性能が著しく低下し14.25 BLEU-4にまで下がった。これは、グラフのインダクティブバイアスの必要性を示している。
• アブレーションスタディにより、ネットワーク全体で骨格グラフ構造を維持することが性能に不可欠であることが確認された。
• プログレッシブトランスフォーマー、敵対的訓練、混合密度ネットワーク、混合モーションプリミティブの4つの強力なベースラインと比較して、開発セットとテストセットでそれぞれ8%および7%の向上を達成した。