[论文解读] Skeletal Graph Self-Attention: Embedding a Skeleton Inductive Bias into Sign Language Production

Ben Saunders, Necati Cihan Camgöz+1 more|arXiv (Cornell University)|Dec 6, 2021

Hand Gesture Recognition Systems被引用 11

一句话总结

本文提出了一种新型基于图的注意力机制——骨骼图自注意力（Skeletal Graph Self-Attention, SGSA），通过将手语建模为具有关节作为节点、空间与时间连接作为边的时空骨骼图，将骨骼归纳偏置嵌入手语生成任务中。通过将稀疏邻接矩阵直接整合到自注意力机制中，SGSA在网络中始终保持结构信息，最终在 PHOENIX14 T 数据集上取得最先进性能，开发集 BLEU-4 得分为 15.15，测试集 BLEU-4 得分为 14.33，相较于先前方法分别提升 8% 和 7%。

ABSTRACT

Recent approaches to Sign Language Production (SLP) have adopted spoken language Neural Machine Translation (NMT) architectures, applied without sign-specific modifications. In addition, these works represent sign language as a sequence of skeleton pose vectors, projected to an abstract representation with no inherent skeletal structure. In this paper, we represent sign language sequences as a skeletal graph structure, with joints as nodes and both spatial and temporal connections as edges. To operate on this graphical structure, we propose Skeletal Graph Self-Attention (SGSA), a novel graphical attention layer that embeds a skeleton inductive bias into the SLP model. Retaining the skeletal feature representation throughout, we directly apply a spatio-temporal adjacency matrix into the self-attention formulation. This provides structure and context to each skeletal joint that is not possible when using a non-graphical abstract representation, enabling fluid and expressive sign language production. We evaluate our Skeletal Graph Self-Attention architecture on the challenging RWTH-PHOENIX-Weather-2014T(PHOENIX14T) dataset, achieving state-of-the-art back translation performance with an 8% and 7% improvement over competing methods for the dev and test sets.

研究动机与目标

• 解决现有手语生成（SLP）模型中缺乏结构归纳偏置的问题，这些模型将骨骼姿态视为抽象序列处理。
• 通过保留人体运动固有的空间与时间结构，提升手语生成的表达力与流畅性。
• 开发一种新型注意力机制，显式在基于 Transformer 的架构中建模骨骼拓扑结构。
• 证明在自注意力机制中引入图结构可提升 SLP 基准测试的性能。

提出的方法

• 将手语序列表示为时空骨骼图，其中关节作为节点，肢体连接作为边。
• 提出骨骼图自注意力（SGSA），一种改进的多头自注意力层，通过应用稀疏时空邻接矩阵来约束注意力计算。
• 将邻接矩阵直接集成到自注意力的值计算中，确保空间与局部时间信息的有效传播。
• 在整个网络中保持原始骨骼特征表示，避免投影为抽象表征。
• 使用全局时间邻接矩阵建模帧级依赖关系，同时将时间注意力限制在前一帧的局部上下文。
• 采用回译训练策略并结合词素监督进行端到端训练，实现从文本到富有表现力的手语动作的端到端学习。

实验结果

研究问题

• RQ1 将手语建模为具有显式空间与时间边的骨骼图，是否能提升手语生成质量？
• RQ2 通过图注意力机制嵌入骨骼归纳偏置，是否能带来更具表现力与自然的手语生成？
• RQ3 时间邻接距离的选择如何影响 SLP 任务中的模型性能？
• RQ4 图感知的自注意力机制是否能在手语生成任务中超越标准 Transformer 层？

主要发现

• 所提出的 SGSA 模型在 PHOENIX14 T 数据集的开发集上达到 15.15 BLEU-4，在测试集上达到 14.33 BLEU-4，创下新的最先进水平。
• 使用 5 层 SGSA 时性能最佳，BLEU-4 得分为 14.72，表明更深层次的图建模有助于提升表征能力。
• 时间邻接距离为 1（仅局部上下文）时性能最高，表明模型从马尔可夫归纳偏置中获益。
• 将 SGSA 层替换为标准自注意力层后，性能显著下降至 14.25 BLEU-4，证明图归纳偏置的必要性。
• 消融实验证实，保持整个网络中骨骼图结构的完整性对性能至关重要。
• 与四种强基线模型（包括渐进式 Transformer、对抗训练、混合密度网络及混合运动基元）相比，该模型在开发集和测试集上分别提升 8% 和 7%。