[论文解读] Correction of Errors in a Modality Corpus Used for Machine Translation by Using Machine-learning Method

Masaki Murata, Masao Utiyama+3 more|ArXiv.org|May 2, 2001

Natural Language Processing Techniques参考文献 3被引用 5

一句话总结

本文提出一种基于机器学习的方法，用于校正用于日语-英语机器翻译的 manually annotated 情态语料库中的错误，采用最大熵和决策列表模型来估计标记概率并优先处理校正。该方法在封闭数据训练下实现了高达 88% 的错误检测与校正精度，显著提升了时态、体和情态翻译任务的语料质量。

ABSTRACT

We performed corpus correction on a modality corpus for machine translation by using such machine-learning methods as the maximum-entropy method. We thus constructed a high-quality modality corpus based on corpus correction. We compared several kinds of methods for corpus correction in our experiments and developed a good method for corpus correction.

研究动机与目标

• 解决手动构建的标注语料库中错误这一关键问题，此类错误会阻碍可靠机器翻译系统的开发。
• 开发一种可扩展的自动化方法，用于检测和校正日语-英语双语语料库中的情态标记错误。
• 评估机器学习技术（特别是最大熵和决策列表模型）在真实自然语言处理应用中用于语料校正的有效性。
• 构建一个高质量的情态语料库，以支持日语-英语机器翻译中时态、体和情态的准确、数据驱动的翻译。

提出的方法

• 该方法使用最大熵模型估计每个情态标记的概率，该模型在从训练数据特征中导出的约束下最大化熵。
• 基于语言上下文（包括周围词汇、词性标注和句法结构）的特征向量来建模标记的可能性。
• 决策列表方法用作基线对比，以贪心的、基于规则的方式按其预测正确标记的能力对特征进行排序。
• 通过概率模型得出的置信度分数对错误候选进行排序，使人工标注者能够优先处理。
• 该方法使用封闭数据（训练集）和开放数据（保留测试集）进行模型训练和评估，以评估泛化能力。
• 通过从概率模型中选择最高排名的候选进行迭代式语料校正，减少对完整人工检查的依赖。

实验结果

研究问题

• RQ1 机器学习模型能否有效检测并校正用于日语-英语机器翻译的手动标注情态语料库中的错误？
• RQ2 在错误检测与校正的精度方面，最大熵方法与决策列表方法相比如何？
• RQ3 基于概率的错误候选排序在多大程度上能提高语料校正的效率和准确性？
• RQ4 使用封闭数据训练是否能显著优于开放数据训练，从而获得更好的校正性能？

主要发现

• 在使用封闭数据训练时，最大熵方法在前 50 个候选中实现了 88% 的错误检测与校正精度。
• 在使用开放数据训练时，最大熵方法在前 200 个候选中的校正精度仍保持在 69%，表明其具有良好的泛化能力。
• 决策列表方法在封闭数据训练下表现最佳，在前 50 个候选中达到 100% 的精度，但在开放数据上的性能显著下降。
• 在开放数据评估中，最大熵方法优于决策列表方法，前 50 个候选中的检测精度为 56%，校正精度为 52%。
• 研究发现，检测精度与校正精度几乎相同，表明高置信度预测能可靠地指示正确标记。
• 所提出的方法通过优先处理高置信度错误候选，减少了人工工作量，实现了高效、可扩展的语料校正，而无需完全重新标注。