[论文解读] Extracting Parallel Sentences with Bidirectional Recurrent Neural Networks to Improve Machine Translation

Francis Grégoire, Philippe Langlais|arXiv (Cornell University)|Jun 13, 2018

Natural Language Processing Techniques参考文献 29被引用 21

一句话总结

本文提出一种双向循环神经网络（BiRNN）模型，用于从多语言同类语料库中自动提取平行句子对，无需依赖人工设计的特征或外部资源。通过学习共享的句子表征以最大化平行句子之间的相似性，该方法在用于增强训练数据时显著提升了机器翻译性能。

ABSTRACT

Parallel sentence extraction is a task addressing the data sparsity problem found in multilingual natural language processing applications. We propose a bidirectional recurrent neural network based approach to extract parallel sentences from collections of multilingual texts. Our experiments with noisy parallel corpora show that we can achieve promising results against a competitive baseline by removing the need of specific feature engineering or additional external resources. To justify the utility of our approach, we extract sentence pairs from Wikipedia articles to train machine translation systems and show significant improvements in translation performance.

研究动机与目标

• 通过从噪声较大的同类语料库中自动提取平行句子，解决多语言NLP中的数据稀疏问题。
• 消除平行句子抽取中对手动特征工程或外部语言资源的依赖。
• 开发一个端到端的神经网络模型，通过学习句子表征来区分平行与非平行句子对。
• 通过提升机器翻译系统来评估所提取句子对的实用性。
• 在基于维基百科的同类语料库上，展示方法在多种语言对上的可扩展性与有效性。

提出的方法

• 该模型使用双向循环神经网络将源句和目标句编码为共享的连续向量表征。
• 通过负采样在训练过程中生成非平行句子对，从而实现对比学习以学习句子相似性。
• 模型被训练以最大化真实平行句子对之间的相似性，同时最小化负样本对之间的相似性。
• 句子表征通过端到端方式学习，使模型能够直接预测两句话是否为彼此的翻译。
• 该方法利用原始句子对，无需对齐特征、词对齐或元数据。
• 通过将提取的句子对添加到SMT和NMT系统的并行训练语料库中，对系统进行评估。

实验结果

研究问题

• RQ1 一个单一的端到端神经网络模型是否能有效从同类语料库中提取平行句子，而无需特征工程？
• RQ2 与传统基线方法相比，基于BiRNN的抽取系统在抽取质量方面表现如何？
• RQ3 所提取的句子对在多大程度上提升了下游机器翻译系统的性能？
• RQ4 该模型是否能在仅使用维基百科风格同类语料库的情况下泛化到低资源语言对？
• RQ5 当应用于可比性较低的语料库时，该方法的鲁棒性如何？

主要发现

• 基于BiRNN的系统在平行句子抽取任务中优于竞争性基线，在噪声较大的平行语料库上实现了更高的精确率与召回率。
• 将150万个提取的句子对加入训练集后，与50万参考句系统相比，SMT的BLEU得分提升了3.71点，NMT的BLEU得分提升了9.47点。
• 在多种系统配置下，翻译性能的提升保持一致，表明所提取数据的可靠性和高质量。
• 即使在分布外的维基百科文章对上，该模型也表现出强劲性能，表明其在可比性较低的场景中具有应用潜力。
• 该方法展现出良好的可扩展性与有效性，随着更多提取句子对被加入训练数据，性能增益持续提升。
• 该方法具有鲁棒性与泛化能力，具备扩展至多种语言对及低资源场景的潜力。