[论文解读] Assessing Human Translations from French to Bambara for Machine Learning: a Pilot Study

Michael Leventhal, Allahsera Auguste Tapo+3 more|arXiv (Cornell University)|Mar 31, 2020

Natural Language Processing Techniques参考文献 1被引用 6

一句话总结

本试点研究评估了用于训练机器翻译模型的人工翻译法语-班巴拉语文本，比较了书面与口语翻译方法。研究发现，对于简单文本，两种方法的翻译质量相当；对于复杂内容，书面翻译优于口语翻译。研究还识别出可标准化的关键翻译不一致问题，以提升模型性能。

ABSTRACT

We present novel methods for assessing the quality of human-translated aligned texts for learning machine translation models of under-resourced languages. Malian university students translated French texts, producing either written or oral translations to Bambara. Our results suggest that similar quality can be obtained from either written or spoken translations for certain kinds of texts. They also suggest specific instructions that human translators should be given in order to improve the quality of their work.

研究动机与目标

• 评估非专业马里大学生是否可生产用于机器学习的法语-班巴拉语对齐翻译。
• 比较书面与口语翻译在意义捕捉、字面性及标准班巴拉语使用方面的质量差异。
• 识别翻译不一致现象，并提出后处理策略以提升低资源语言翻译的数据质量。
• 为未来针对班巴拉语（一种资源匮乏、以口语为主的语言）的众包翻译工作提供指导方针。

提出的方法

• 开展一项试点研究，共七名翻译者参与：四名采用书面-书面翻译方法，三名采用书面-口语翻译方法。
• 翻译两种文本类型：一篇195词的维基百科节选和一篇428词的马里新闻广播稿文本。
• 由母语为班巴拉语的人员依据三项标准进行评估：意义准确性、字面性及标准正字法/词汇使用，评分范围为0–100%。
• 采用成对排序法计算BLEU分数，由于缺乏标准参考译文，每份翻译均轮流作为参考译文。
• 提供简要的法语书面指导，并辅以班巴拉语和法语的口头说明，模拟无监督、非专业翻译环境。
• 识别出在专有名词处理、数字格式及词缩略/复合化方面存在的重复性不一致问题，以供标准化处理。

实验结果

研究问题

• RQ1 非专业人工翻译者能否产出适合用于训练机器翻译模型的高质量法语-班巴拉语翻译？
• RQ2 对于同一法语原文，书面班巴拉语与口语班巴拉语输出的翻译质量是否存在显著差异？
• RQ3 在非专业条件下，哪种文本类型——正式书面语或非正式口语——能产生更可靠的翻译？
• RQ4 非专业翻译者会产生哪些具体翻译不一致现象，以及如何系统性地进行标准化？

主要发现

• 对于马里新闻广播稿（口语文本），书面翻译与口语翻译在意义准确性（83.0% vs. 77.0%）和标准班巴拉语使用（74.0% vs. 79.0%）方面表现相近，表明口语翻译适用于口语内容文本。
• 对于维基百科文章（复杂书面文本），书面-书面翻译在意义准确性（87.0% vs. 53.0%）和标准班巴拉语使用（83.0% vs. 85.0%）方面优于书面-口语翻译，表明书面翻译更适合正式复杂内容。
• 新闻广播稿的最高BLEU分数出现在口语-书面配对中（0.408），而维基百科文章的最高BLEU分数则出现在书面-书面配对中（0.645），表明性能表现依赖于翻译方法。
• 评估分数的标准差较高（如新闻文本意义评分的标准差为0.181–0.208），表明翻译者质量差异显著，提示需引入质量筛选机制。
• 常见不一致包括：专有名词处理方式不一（保留法语拼写、音译或使用标准班巴拉拼写）、数字格式不一致（使用单词、数字或混合形式），以及缩略词与复合词使用不统一。
• 本研究结论认为，通过改进指导方针并进行后处理标准化，书面与口语翻译均可产出可用于训练低资源语言模型的可用数据，尤其当翻译方法与文本类型相匹配时。