[论文解读] Automatic TM Cleaning through MT and POS Tagging: Autodesk's Submission to the NLP4TM 2016 Shared Task

Alena Zwahlen, O. Carnal+1 more|arXiv (Cornell University)|May 19, 2016

Natural Language Processing Techniques参考文献 11被引用 3

一句话总结

本论文提出一种语言无关的机器学习方法，通过结合神经机器翻译（MT）评估指标——BLEU 和 Levenshtein 距离，以及词性（POS）标注特征，检测翻译记忆库中的错误条目。该系统采用随机森林分类器，结合包括基于 MT 的相似度和 POS 对齐在内的 9 个关键特征，在英语-意大利语和英语-西班牙语的二元分类（II）任务中取得了最高的 F1 得分，两项均排名第一。

ABSTRACT

We describe a machine learning based method to identify incorrect entries in translation memories. It extends previous work by Barbu (2015) through incorporating recall-based machine translation and part-of-speech-tagging features. Our system ranked first in the Binary Classification (II) task for two out of three language pairs: English-Italian and English-Spanish.

研究动机与目标

• 开发一种语言无关的方法，用于识别错误的翻译记忆（TM）条目，以提升机器翻译和人工翻译的效率。
• 在 Barbu（2015）的基础上，引入先进的 MT 评估指标和 POS 标注，以增强对非对应或错误翻译的检测能力。
• 在多种语言对的真实 TM 数据上评估系统性能，重点关注正确与错误条目的二元分类。
• 评估领域不匹配对性能的影响，特别是针对英语-德语对，其结果弱于其他语言对。
• 通过测试其在生产环境中清理噪声 TM 并提升下游翻译质量的能力，验证该方法的实用性。

提出的方法

• 该系统使用基于 9 个特征组合的随机森林分类器进行训练，包括语言检测、词和字符比例，以及基于 MT 的相似度度量。
• 采用基于召回的 MT 特征，利用 n-best 翻译结果以应对词汇变化（如同义词），提升对重述的源-目标对的鲁棒性。
• 使用 BLEU 和基于字符的 Levenshtein 距离作为余弦相似度的替代相似度度量，更有效地捕捉 n-gram 和部分词重叠。
• 对每种语言进行 POS 标注，并映射到 11 个语言无关的语法类别（Petrov 等，2011），以比较源段和目标段之间的句法结构对齐。
• 包含标点符号相似度和大小写差异等特征，以检测标记或格式错误。
• 模型仅在共享任务数据上进行训练，通过 5 折交叉验证调整超参数，以在训练集上最大化加权 F1 得分。

实验结果

研究问题

• RQ1 基于 MT 的评估指标（BLEU 和 Levenshtein）是否能优于传统的余弦相似度，在检测错误 TM 条目方面表现更优？
• RQ2 跨语言的 POS 标注对齐在多大程度上能提升对非对应或格式错误翻译的检测能力？
• RQ3 引入 n-best MT 假设（基于召回的特征）是否能减少对有效但重述的翻译的误报？
• RQ4 领域不匹配（如医学/新闻与软件）如何影响语言无关的 TM 清洗系统性能？
• RQ5 结合 MT、POS 和语言学启发式规则的特征集，是否能在无需语言特定调优的情况下实现二元 TM 清洗的最先进性能？

主要发现

• 在英语-意大利语（F1 = 0.90）和英语-西班牙语（F1 = 0.89）的二元分类（II）任务中，该系统取得了最高的 F1 得分，两项均排名第一。
• 在英语-德语对中，F1 值较低（0.79），表明可能存在因领域不匹配或语言特定挑战导致的性能下降。
• 引入 n-best MT 假设以及 BLEU/Levenshtein 度量后，与仅使用余弦相似度相比，召回率和 F1 得分均有所提升，尤其在处理重述或变体翻译时表现更优。
• POS 相似度特征（pos_sim_all）在区分正确与错误翻译单元方面贡献显著，尤其在语言关系较近的语言对中。
• 在所有语言对中，该系统均优于 Barbu（2015）的 SVM 和随机森林基线模型，仅在英语-德语对中性能相当。
• 在细粒度分类任务中，相同特征集表现欠佳，表明所选特征可能不足以区分‘几乎正确’与‘正确’条目。