[论文解读] A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation

Yutong Chen, Fangyun Wei+3 more|arXiv (Cornell University)|Mar 8, 2022

Hand Gesture Recognition Systems被引用 14

一句话总结

该论文通过在通用领域数据上逐步预训练视觉与语言网络，随后在手语数据集上微调，提出了一种简单而有效的多模态迁移学习基线方法用于手语翻译。该方法使用视觉-语言映射器连接手语到词汇（gloss）和词汇到文本的组件，在 PHOENIX-2014T 和 CSL-Daily 数据集上分别取得了 26.75 和 45.62 的 BLEU-4 分数，尽管并行数据有限，仍达到了当前最优性能。

ABSTRACT

This paper proposes a simple transfer learning baseline for sign language translation. Existing sign language datasets (e.g. PHOENIX-2014T, CSL-Daily) contain only about 10K-20K pairs of sign videos, gloss annotations and texts, which are an order of magnitude smaller than typical parallel data for training spoken language translation models. Data is thus a bottleneck for training effective sign language translation models. To mitigate this problem, we propose to progressively pretrain the model from general-domain datasets that include a large amount of external supervision to within-domain datasets. Concretely, we pretrain the sign-to-gloss visual network on the general domain of human actions and the within-domain of a sign-to-gloss dataset, and pretrain the gloss-to-text translation network on the general domain of a multilingual corpus and the within-domain of a gloss-to-text corpus. The joint model is fine-tuned with an additional module named the visual-language mapper that connects the two networks. This simple baseline surpasses the previous state-of-the-art results on two sign language translation benchmarks, demonstrating the effectiveness of transfer learning. With its simplicity and strong performance, this approach can serve as a solid baseline for future research. Code and models are available at: https://github.com/FangyunWei/SLRT.

研究动机与目标

• 为解决手语翻译中的数据稀缺瓶颈，现有数据集仅包含 10K–20K 个并行样本，远少于典型神经机器翻译模型所需的数据量。
• 通过利用大规模通用领域视觉数据和多语言 NLP 数据集中的迁移学习，提升手语翻译性能。
• 将手语到词汇（gloss）与词汇到文本的任务解耦，分别进行预训练，随后通过视觉-语言映射器联合微调，以增强跨模态对齐。
• 建立一个强大且简洁的基线模型，在标准基准测试中超越先前的最先进方法。

提出的方法

• 在通用领域人体动作数据集（如 Kinetics）上预训练手语到词汇（gloss）网络，随后在领域内手语数据集上进行微调。
• 使用 mBART（一种在大规模多语言语料上预训练的去噪自编码器）预训练词汇到文本网络，随后在词汇到文本的并行数据上进行微调。
• 引入视觉-语言映射器（V-L Mapper），连接手语到词汇（gloss）与词汇到文本网络，实现联合优化与跨模态特征对齐。
• 采用两阶段流程：首先从手语视频中预测词汇序列，然后将其翻译为目标语言文本。
• 应用渐进式微调：先分别预训练各模态，再通过 V-L Mapper 联合微调整个模型。
• 利用通用领域数据的外部监督，减少对大规模并行手语数据的依赖。

实验结果

研究问题

• RQ1 尽管并行数据有限，能否通过在通用领域视觉与多语言数据上进行渐进式预训练来提升手语翻译性能？
• RQ2 与端到端训练相比，将手语到词汇（gloss）与词汇到文本组件解耦进行预训练-微调策略的有效性如何？
• RQ3 视觉-语言映射器在手语翻译中对跨模态对齐与翻译质量的提升程度如何？
• RQ4 一个简单的迁移学习基线模型能否在标准手语翻译基准上超越更复杂的架构？
• RQ5 该模型的失败模式是什么，特别是对数字和方位词等罕见实体的识别困难？

主要发现

• 所提方法在 PHOENIX-2014T 测试集上达到 26.75 的 BLEU-4 分数，超越此前 SOTA 的 24.32。
• 在 CSL-Daily 基准上，模型达到 45.62 的 BLEU-4 分数，创下新的最先进性能记录。
• 通过 V-L Mapper 整合视觉与语言信号，模型在处理面部表情与非手动特征方面表现出更强的鲁棒性。
• 定性分析表明，模型能正确捕捉诸如“极其”等副词强度等语义细微差别，而这些在仅使用词汇的流水线中常被忽略。
• 失败案例显示，由于训练数据中数量词和方位词等低频实体稀缺，模型在识别这些词时存在困难。
• 消融实验证实，在通用领域数据上进行渐进式预训练能显著提升性能，验证了迁移学习策略的有效性。