[论文解读] Phrase Based Language Model For Statistical Machine Translation

Jia Xu, Geliang Chen|arXiv (Cornell University)|Jan 18, 2015

Natural Language Processing Techniques参考文献 12被引用 4

一句话总结

本文提出一种基于短语的语言模型（LM）用于统计机器翻译（SMT），将短语而非单个词语作为语言建模的基本单元。通过执行全面的短语切分，并使用插值与平滑技术建模短语n-gram，该方法能够捕捉长距离依赖关系，更好地与基于短语的翻译单元对齐，从而在困惑度上更低，并在BLEU分数上优于词级LM（最高提升0.45%）。

ABSTRACT

We consider phrase based Language Models (LM), which generalize the commonly used word level models. Similar concept on phrase based LMs appears in speech recognition, which is rather specialized and thus less suitable for machine translation (MT). In contrast to the dependency LM, we first introduce the exhaustive phrase-based LMs tailored for MT use. Preliminary experimental results show that our approach outperform word based LMs with the respect to perplexity and translation quality.

研究动机与目标

• 解决词级语言模型在捕捉翻译中长距离依赖关系和上下文语义方面的局限性。
• 开发一种与SMT系统中使用的基于短语的翻译单元相匹配的基于短语的语言模型。
• 通过将短语作为原子单元进行建模，减少统计语言建模中的独立性假设。
• 探索将短语边界作为结构约束以改善对齐与翻译流畅性。
• 在标准机器翻译基准上，评估基于短语的语言模型在困惑度与BLEU分数方面的有效性。

提出的方法

• 该模型将短语视为语言建模的基本单元，其中每个短语是连续的词序列，且所有可能的短语片段均被考虑。
• 使用动态规划计算短语n-gram，以收集长度不超过最大长度N的所有有效n-gram短语序列。
• 采用插值方法，通过线性组合方式结合一元、二元及更高阶的短语n-gram，平滑参数λ=0.4。
• 提出两种模型：'sum'模型，对所有短语n-gram的概率取平均；'max'模型，从所有n-gram阶数中选择最高概率。
• 采用线性插值方法进行平滑处理，以应对未见的短语n-gram，提升在测试数据上的泛化能力。
• 模型在IWSLT 2011语料库的一个子集上进行训练，训练集句子长度限制为15个词，测试集为10个词。

实验结果

研究问题

• RQ1 将短语而非词语作为建模单元，是否能改善统计机器翻译中的语言模型困惑度？
• RQ2 基于短语的语言模型是否比词级n-gram模型更能捕捉长距离依赖关系？
• RQ3 将短语边界作为隐变量使用，对基于短语的MT中的翻译质量与对齐效果有何影响？
• RQ4 插值与平滑技术在多大程度上提升了基于短语的LM在未见数据上的性能？
• RQ5 当作为N-best列表解码中的重排序准则时，基于短语的LM是否能在BLEU分数上超越词级LM？

主要发现

• 基于短语的语言模型在Tst2011测试集上的困惑度低于基线词级LM，其中'max'模型+平滑的困惑度为15.27，而基线在n=1时为676.1。
• 在Tst2010测试集上，'max'模型+平滑使BLEU分数提升了0.45%，在Dev2010上也有较小但稳定的增益（+0.3%），Tst2011上为+0.22%。
• 通过建模更少但更大的单元，该模型减少了独立性假设，从而获得更稳健的概率估计。
• 模型成功将上下文短语如'the day before yesterday'作为单一单元进行捕捉，保持了语义连贯性并降低了熵。
• 'max'模型的示例输出显示其流畅性与语法正确性优于基线，例如能正确生成'step-by-step instructions'而非'specific steps'。
• 结果表明，基于短语的LM与基于短语的SMT中的翻译过程更加一致，因其在整个过程中使用相同的翻译单元。