[论文解读] BEST: BERT Pre-Training for Sign Language Recognition with Coupling Tokenization

Weichao Zhao, Hezhen Hu+3 more|arXiv (Cornell University)|Feb 10, 2023

Hand Gesture Recognition Systems被引用 4

一句话总结

BEST 提出了一种用于手语识别的自监督 BERT 类预训练框架，通过将手部和身体动作建模为姿态三元组单元，并使用耦合 tokenization 来弥合连续视频信号与离散 BERT 目标之间的语义鸿沟。该方法在四个基准测试中均取得了最先进性能，在 WLASL2000 上实现了 19.12% 的准确率提升。

ABSTRACT

In this work, we are dedicated to leveraging the BERT pre-training success and modeling the domain-specific statistics to fertilize the sign language recognition~(SLR) model. Considering the dominance of hand and body in sign language expression, we organize them as pose triplet units and feed them into the Transformer backbone in a frame-wise manner. Pre-training is performed via reconstructing the masked triplet unit from the corrupted input sequence, which learns the hierarchical correlation context cues among internal and external triplet units. Notably, different from the highly semantic word token in BERT, the pose unit is a low-level signal originally located in continuous space, which prevents the direct adoption of the BERT cross-entropy objective. To this end, we bridge this semantic gap via coupling tokenization of the triplet unit. It adaptively extracts the discrete pseudo label from the pose triplet unit, which represents the semantic gesture/body state. After pre-training, we fine-tune the pre-trained encoder on the downstream SLR task, jointly with the newly added task-specific layer. Extensive experiments are conducted to validate the effectiveness of our proposed method, achieving new state-of-the-art performance on all four benchmarks with a notable gain.

研究动机与目标

• 将 BERT 的自监督预训练成功应用到手语识别任务中，该任务涉及连续视频信号，与离散文本不同。
• 通过引入语义桥接机制，解决将 BERT 的交叉熵目标应用于低层次、连续姿态序列的挑战。
• 通过一种新型掩码任务，建模手语中手部与身体动作之间的层次化上下文线索。
• 通过在大规模弱监督视频数据上进行预训练，提升下游孤立手语识别的性能。
• 展示耦合 tokenization 在为连续姿态三元组单元生成离散伪标签方面的有效性。

提出的方法

• 从手部和身体关键点序列构建姿态三元组单元，表示手语手势的空间与时间配置。
• 引入掩码单元建模（MUM）掩码任务，随机掩码部分姿态三元组单元，并由模型从上下文重建。
• 使用耦合 tokenization 从连续姿态三元组单元生成离散伪标签，从而支持 BERT 的交叉熵目标。
• 预训练阶段使用 Transformer 主干网络，通过 MUM 从损坏的输入序列中学习层次化上下文。
• 预训练完成后，使用特定任务的分类头在下游孤立 SLR 基准上对编码器进行微调。
• 通过端到端微调，联合优化上下文建模与语义表征学习。

实验结果

研究问题

• RQ1 鉴于视频信号的连续性和低层次特性，BERT 风格的预训练能否有效适配手语识别？
• RQ2 如何在连续姿态序列与离散 BERT token 目标之间建立语义桥接，以实现有效的自监督学习？
• RQ3 在掩码单元建模任务中，同时掩码手部和身体部位与仅掩码其中一部分相比，对性能有何影响？
• RQ4 与标准向量量化或聚类方法相比，耦合 tokenization 在生成姿态单元有意义伪标签方面表现如何？
• RQ5 在大规模、未经筛选的手语数据上进行预训练，能在多大程度上提升下游孤立 SLR 的准确率？

主要发现

• BEST 在所有四个评估基准（MSASL100、MSASL200、MSASL1000 和 WLASL2000）上均达到新的最先进性能。
• 在 WLASL2000 数据集上，BEST 相较于无预训练的基线模型，实现了 19.12% 的绝对准确率提升（按实例 Top-1 准确率计算）。
• 所提出的耦合 tokenization 方法优于 K-Means 和 VQ，在 MSASL100 和 MSASL200 上分别达到 80.98% 和 81.24% 的准确率。
• 在 MUM 任务中同时掩码手部和身体部位时性能最佳，在 MSASL100 上相比基线提升 7.54%。
• 性能随着预训练数据规模的增加而单调提升，表明该方法具备良好的可扩展性与数据效率。
• 结合耦合 tokenization 的 MUM 掩码任务在 MSASL1000 和 WLASL2000 上分别达到 58.82% 和 54.87% 的 Top-1 准确率，优于所有消融实验设置。