[论文解读] Machine Translation between Spoken Languages and Signed Languages Represented in SignWriting

Zifan Jiang, Amit Moryossef+2 more|Zurich Open Repository and Archive (University of Zurich)|Oct 11, 2022

Hand Gesture Recognition Systems被引用 4

一句话总结

本文提出首个使用 SignWriting 作为中间书面表示的口语语言与手语之间的端到端机器翻译系统。通过将神经因子化机器翻译技术应用于解析、分解和评估 SignWriting 序列，作者在双语（ASL→英语）设置中实现了超过 30 的 BLEU 分数，在多语言设置中实现了超过 20 的 BLEU 分数，证明了标准自然语言处理技术可有效支持使用结构化符号表示的手语翻译。

ABSTRACT

This paper presents work on novel machine translation (MT) systems between spoken and signed languages, where signed languages are represented in SignWriting, a sign language writing system. Our work seeks to address the lack of out-of-the-box support for signed languages in current MT systems and is based on the SignBank dataset, which contains pairs of spoken language text and SignWriting content. We introduce novel methods to parse, factorize, decode, and evaluate SignWriting, leveraging ideas from neural factored MT. In a bilingual setup--translating from American Sign Language to (American) English--our method achieves over 30 BLEU, while in two multilingual setups--translating in both directions between spoken languages and signed languages--we achieve over 20 BLEU. We find that common MT techniques used to improve spoken language translation similarly affect the performance of sign language translation. These findings validate our use of an intermediate text representation for signed languages to include them in natural language processing research.

研究动机与目标

• 为解决当前机器翻译系统中对手语支持不足的问题，提出使用 SignWriting 作为符号中间表示的方法。
• 通过利用手语书写系统，实现从口语文本到手语内容的端到端翻译。
• 将神经因子化机器翻译技术适配于 SignWriting 独特的语言结构，包括符号解析与位置因子分解。
• 使用标准自然语言处理指标与专为 SignWriting 图形性和空间特性设计的新评估策略，评估手语翻译系统的性能。
• 验证既有的低资源机器翻译技术在手语翻译中的可迁移性与有效性，从而推动手语在自然语言处理研究中的包容性。

提出的方法

• 作者使用 SignBank 数据集，该数据集提供了口语文本与对应 SignWriting 序列的平行语料对，用于训练翻译模型。
• 提出一种新型解析方法，将 SignWriting 序列分割为构成符号（字素）、标点符号和空间标记。
• 采用因子分解策略，将 SignWriting 分解为独立的语言因子（如符号与位置数字），以支持神经因子化机器翻译。
• 模型使用交叉熵损失进行符号预测，使用平均绝对误差（MAE）进行位置数字预测，重点在于保持空间关系的准确性。
• 系统支持双向翻译：从口语语言到 SignWriting，以及反向，使用共享的多语言架构。
• 评估采用 BLEU 和 chrF2/chrF2++ 衡量符号级准确率，使用 MAE 衡量位置数字预测，同时辅以图形输出的手动验证。

实验结果

研究问题

• RQ1 神经机器翻译模型能否有效学习从口语文本到 SignWriting（手语的符号表示）的翻译？
• RQ2 当应用于 SignWriting 时，标准的低资源机器翻译技术在多大程度上能提升手语翻译的性能？
• RQ3 如何在神经翻译框架中有效建模 SignWriting 的独特语言特征，如空间定位与符号组合？
• RQ4 在 SignWriting 具有二维图形结构的背景下，哪些评估指标最适用于评估其翻译输出的质量？
• RQ5 在仅依赖词典式配对（非 ASL/英语语言对）的有限平行数据下，能否有效训练多语言翻译系统？

主要发现

• 在从美国手语（ASL）到美式英语的双语设置中，所提方法实现了超过 30 的 BLEU 分数，表明在高资源手语翻译任务中表现强劲。
• 在两个多语言设置中（在口语语言与手语之间双向翻译），系统实现了超过 20 的 BLEU 分数，表明在低资源条件下仍具备良好的跨语言对泛化能力。
• 常见的低资源机器翻译技术（如数据增强与多语言建模）显著提升了翻译性能，证实其在手语翻译中的可迁移性。
• 将位置数字作为模型中的独立因子，提升了空间表示的准确性，MAE 成为其关键评估指标。
• 研究揭示了当前评估实践的局限性，特别是当序列对齐不完善时，使用逐标记 MAE 评估位置数字可能存在的缺陷。
• 作者提倡采用分阶段评估框架，依次评估图形形式、符号组合、位置准确性与因子化结构，最后辅以人工评估，实现全面质量评估。