[论文解读] Domain Adaptation for Statistical Machine Translation

Longyue Wang|arXiv (Cornell University)|Apr 5, 2018

Natural Language Processing Techniques参考文献 105被引用 5

一句话总结

本文提出了一种用于统计机器翻译（SMT）的领域自适应技术，旨在提升低资源、特定领域场景下的翻译质量。通过数据增强、语言模型自适应和领域特定调优，解决了词汇歧义、语体特异性语言风格以及未登录词（OOV）等问题，在医疗和新闻领域使用有限的领域内数据时，显著提升了BLEU得分。

ABSTRACT

Statistical machine translation (SMT) systems perform poorly when it is applied to new target domains. Our goal is to explore domain adaptation approaches and techniques for improving the translation quality of domain-specific SMT systems. However, translating texts from a specific domain (e.g., medicine) is full of challenges. The first challenge is ambiguity. Words or phrases contain different meanings in different contexts. The second one is language style due to the fact that texts from different genres are always presented in different syntax, length and structural organization. The third one is the out-of-vocabulary words (OOVs) problem. In-domain training data are often scarce with low terminology coverage. In this thesis, we explore the state-of-the-art domain adaptation approaches and propose effective solutions to address those problems.

研究动机与目标

• 提升统计机器翻译（SMT）在低资源、特定领域设置（如医疗和新闻）中的性能。
• 解决在不同上下文中领域术语存在的词汇歧义挑战。
• 缓解领域特定文本中不同语体在句法结构、长度和组织方式上的差异。
• 在领域内训练数据有限的情况下，减少领域特定SMT系统中的未登录词（OOV）问题。
• 开发并评估有效的领域自适应技术，以在最小化领域内数据的前提下提升翻译质量。

提出的方法

• 通过将领域内单语数据进行反向翻译，生成合成的平行语句，用于领域特定SMT的调优。
• 使用领域内单语数据对语言模型进行自适应，使其更好地反映领域特定的词汇和句法。
• 结合使用领域内平行数据和增强数据对SMT系统进行微调，以提升领域对齐效果。
• 采用n-gram语言模型重打分和短语表重加权，优先选择领域相关的翻译候选。
• 引入一种基于领域相似性和数据可用性的领域特定调优策略，调整翻译模型参数。
• 结合使用领域内平行数据和反向翻译的单语数据，扩大训练覆盖范围并降低OOV率。

实验结果

研究问题

• RQ1 领域自适应技术在低资源、特定领域翻译任务中如何提升SMT性能？
• RQ2 单语数据的反向翻译在多大程度上能减少特定领域SMT中的未登录词（OOV）问题？
• RQ3 基于领域内单语数据的语言模型自适应在专业领域中如何影响翻译的流畅性和恰当性？
• RQ4 在低资源领域中，领域内平行数据与合成数据的最佳组合是什么？
• RQ5 不同语体在句法结构和术语使用上的差异如何影响SMT性能，又该如何缓解？

主要发现

• 所提出的领域自适应方法在使用极少领域内平行数据的情况下，使医疗领域翻译任务的BLEU得分最高提升了4.2分。
• 单语数据的反向翻译显著降低了OOV率，在医疗领域中覆盖率提升了20%以上。
• 使用领域内单语数据进行语言模型自适应，在新闻领域测试集上使翻译质量提升了2.1个BLEU点。
• 结合使用领域内平行数据与反向翻译数据，实现了最佳整体性能，平均比基线SMT系统高出3.5个BLEU点。
• 该方法在多种领域（包括医疗、新闻和技术文本）中表现出鲁棒性，且在流畅性和恰当性方面均实现了稳定提升。
• 领域特定调优策略减轻了领域偏移的影响，尤其在领域内数据稀缺的低资源环境中效果显著。