[论文解读] A Call for Prudent Choice of Subword Merge Operations in Neural Machine Translation

Shuoyang Ding, Adithya Renduchintala+1 more|arXiv (Cornell University)|May 24, 2019

Natural Language Processing Techniques参考文献 19被引用 31

一句话总结

本文系统评估了字词合并操作数在字节对编码（BPE）中对神经机器翻译（NMT）性能的影响，涵盖多种模型架构和语言对。研究发现，对于Transformer模型，最优性能出现在0–4k个BPE操作范围内，而LSTM模型则需要更广泛的超参数搜索；次优的BPE选择可使BLEU分数降低3–4分，因此在低资源设置中需谨慎选择配置。

ABSTRACT

Most neural machine translation systems are built upon subword units extracted by methods such as Byte-Pair Encoding (BPE) or wordpiece. However, the choice of number of merge operations is generally made by following existing recipes. In this paper, we conduct a systematic exploration on different numbers of BPE merge operations to understand how it interacts with the model architecture, the strategy to build vocabularies and the language pair. Our exploration could provide guidance for selecting proper BPE configurations in the future. Most prominently: we show that for LSTM-based architectures, it is necessary to experiment with a wide range of different BPE operations as there is no typical optimal BPE configuration, whereas for Transformer architectures, smaller BPE size tends to be a typically optimal choice. We urge the community to make prudent choices with subword merge operations, as our experiments indicate that a sub-optimal BPE configuration alone could easily reduce the system performance by 3-4 BLEU points.

研究动机与目标

• 调查BPE合并操作数的多少如何影响不同模型架构和语言对的NMT系统性能。
• 识别在不同架构中，特别是低资源场景下，是否存在典型或最优的BPE配置。
• 挑战默认采用32k个BPE操作而不进行实证验证的常见做法。
• 为子词超参数选择提供可操作的建议，以避免性能下降3–4个BLEU点。
• 倡导对屈折语和黏着语等语言进行系统的BPE超参数搜索。

提出的方法

• 作者在IWSLT 2016数据集的4个语言对上，对5种NMT架构（包括Transformer和基于LSTM的模型）进行了系统性实验。
• 评估了从0k到120k个合并操作的BPE配置，使用联合与独立的BPE词表。
• 在低资源和高资源设置下进行实验，通过多次随机种子评估训练方差与模型稳定性。
• 报告并比较了不同配置下的BLEU分数，并通过统计分析验证多次重启后排名的一致性。
• 对联合与独立BPE词表进行了消融分析，并评估了两个翻译方向的性能表现。
• 在WMT 2017 ru-en数据集上进行了高资源实验，以评估研究发现的泛化能力。

实验结果

研究问题

• RQ1 BPE合并操作数是否显著影响NMT性能？若影响，这种影响在不同模型架构间如何变化？
• RQ2 对于基于Transformer的模型，是否存在典型或最优的BPE配置，还是最优范围高度可变？
• RQ3 次优BPE选择引入的性能方差在LSTM与Transformer架构之间有何差异？
• RQ4 BPE配置选择在低资源设置中是否比在高资源设置中更为关键？
• RQ5 联合或独立的BPE词表更有效？该选择是否影响最优合并操作数？

主要发现

• 对于基于Transformer的架构，最优BPE配置位于0–4k范围内，使用32k个操作可能导致性能降低最多4个BLEU点。
• 对于基于LSTM的架构，不存在典型的最优BPE配置，性能在不同配置间差异显著，因此需要在0–32k范围内进行广泛超参数搜索。
• 仅因BPE选择不当，即可导致系统性能下降3–4个BLEU点，凸显了仔细调优配置的重要性。
• 在表现最佳的BPE配置下，多个随机种子间的BLEU分数方差较低，表明性能排名稳定可靠。
• 在高资源设置中，更大的BPE词表（如16k–32k）通常表现更优，表明低资源设置下的发现无法推广至高资源场景。
• 联合与独立BPE词表之间无显著性能差异，支持在超参数搜索中任选其一。