[论文解读] Considerations for meaningful sign language machine translation based on glosses

Mathias Müller, Zifan Jiang+3 more|Zurich Open Repository and Archive (University of Zurich)|Nov 28, 2022

Hand Gesture Recognition Systems被引用 4

一句话总结

本文批判了当前基于词素（gloss）的 sign language 机器翻译实践，指出了数据集透明度、评估标准和基线严谨性方面的关键缺陷。文章主张采用针对语料库的词素处理、通过 SacreBLEU 实现标准化评估、采用更强的基线模型，并明确讨论词素的局限性，以提升未来研究的可信度与影响力。

ABSTRACT

Automatic sign language processing is gaining popularity in Natural Language Processing (NLP) research (Yin et al., 2021). In machine translation (MT) in particular, sign language translation based on glosses is a prominent approach. In this paper, we review recent works on neural gloss translation. We find that limitations of glosses in general and limitations of specific datasets are not discussed in a transparent manner and that there is no common standard for evaluation. To address these issues, we put forward concrete recommendations for future research on gloss translation. Our suggestions advocate awareness of the inherent limitations of gloss-based approaches, realistic datasets, stronger baselines and convincing evaluation.

研究动机与目标

• 识别并突出近期 NLP 研究中对基于词素的 sign language 翻译所忽视的局限性。
• 解决评估实践缺乏标准化的问题，特别是关于 BLEU 评分和指标一致性的议题。
• 鼓励使用超越 PHOENIX 语料库的现实、多样化数据集，以提升模型的泛化能力。
• 推动基于转录惯例的语料库特定词素预处理。
• 倡导优化基线模型和可复现的代码，以增强研究的可信度与可复现性。

提出的方法

• 对 14篇近期基于词素翻译的论文进行了系统性回顾，评估其对词素局限性的处理、数据集使用、评估方法和基线强度。
• 评估 BLEU 计算的一致性与透明度，建议使用 SacreBLEU 并禁用内部分词功能以确保公平性。
• 提出针对语料库的词素预处理方法，以反映不同数据集中词素转录惯例的差异。
• 建议利用标签平滑和子词词汇表调优等成熟低资源机器翻译技术，对基线模型进行优化。
• 倡导在研究论文中明确包含局限性说明，特别是采用 ACL 风格的局限性讨论部分，以提升方法论透明度。
• 强调可复现代码和训练流程公开共享的重要性，以支持结果的验证与拓展。

实验结果

研究问题

• RQ1 近期研究在多大程度上承认了基于词素的 sign language 翻译固有局限性？
• RQ2 在词素翻译研究中，评估实践——特别是 BLEU 评分——的稳定性和可靠性如何？
• RQ3 依赖于 PHOENIX 等狭窄、领域特定的数据集，对 sign language MT 的泛化能力有何影响？
• RQ4 如何在不引入偏差的前提下，使词素预处理适应不同语料库的转录惯例？
• RQ5 基于词素的翻译是否仍是最佳方法，还是研究应优先关注分词或共指消解等语言学工具？

主要发现

• 在所审查的 14篇论文中，有 8篇未能充分讨论基于词素方法的局限性，导致其实际应用价值被过度夸大。
• 词素翻译论文之间缺乏标准化的评估方法，存在 BLEU 计算方式不一致及缺乏指标签名的问题。
• PHOENIX 数据集虽常被使用，但其规模有限且语言领域受限，然而其局限性却很少被承认。
• 词素具有语料库特异性，且在转录惯例上差异显著，若未经仔细预处理，跨语料库比较将无效。
• 弱且未经优化的基线模型被普遍使用，严重削弱了模型性能提升结果的有效性。
• 建议使用禁用内部分词功能的 SacreBLEU，以确保不同研究之间 BLEU 评分的公平性与可比性。