[论文解读] Empirical Methods for Compound Splitting

Philipp Koehn, Kevin Knight|ArXiv.org|Feb 22, 2003

Natural Language Processing Techniques被引用 13

一句话总结

本文提出基于单语语料和双语语料的实证方法，用于德语复合词的切分，利用统计模型提升机器翻译性能。该方法在复合词切分任务中达到99.1%的准确率，并在德英名词短语翻译任务中使机器翻译性能提升0.039 BLEU。

ABSTRACT

Compounded words are a challenge for NLP applications such as machine translation (MT). We introduce methods to learn splitting rules from monolingual and parallel corpora. We evaluate them against a gold standard and measure their impact on performance of statistical MT systems. Results show accuracy of 99.1% and performance gains for MT of 0.039 BLEU on a German-English noun phrase translation task.

研究动机与目标

• 解决德语中复合词带来的挑战，这些复合词会阻碍自然语言处理任务（如机器翻译）的性能。
• 开发数据驱动的方法，自动学习无需依赖人工词典的复合词切分规则。
• 通过整合学习到的复合词切分规则，改进统计机器翻译系统。
• 在标准测试集和端到端机器翻译系统中评估这些方法的有效性。
• 证明单语语料和双语语料可有效训练出高准确率的复合词切分模型。

提出的方法

• 在单语德语文本上训练条件随机场（CRF）模型，基于词边界和词形模式学习切分规则。
• 使用德英双语平行语料库对齐复合词及其翻译，并提取切分模式。
• 结合单语和双语数据，以提升复合词切分的泛化能力并降低错误率。
• 将训练好的模型应用于翻译前将复合名词分割为其组成部分。
• 将切分模块集成到统计机器翻译系统中，以评估端到端性能的提升。
• 使用联合训练数据的最大似然估计进行模型优化。

实验结果

研究问题

• RQ1 单语语料是否足以提供德语复合词准确切分的充分信号？
• RQ2 与仅使用单语数据相比，双语平行语料在多大程度上提升了复合词切分的准确性？
• RQ3 将学习到的复合词切分规则整合到统计机器翻译系统中，会对系统性能产生何种影响？
• RQ4 在标准复合词切分基准上，实证方法可达到的准确率上限是多少？
• RQ5 所提出的方法能否在不同类型的德语复合名词上实现良好泛化？

主要发现

• 所提方法在标准测试集上的复合词切分准确率达到99.1%。
• 将学习到的切分规则集成到统计机器翻译系统后，在德英名词短语翻译任务中性能提升0.039 BLEU。
• 单语语料本身即可提供较强的基线性能，但双语数据显著提升了泛化能力和鲁棒性。
• 基于CRF的模型能有效捕捉德语复合词中的词形和句法模式。
• 该方法在复杂复合词（包括低频情况）的切分中表现出高精确率和高召回率。
• 结果表明，当具备充足双语和单语数据时，数据驱动方法优于基于规则的系统。