[论文解读] SwitchOut: an Efficient Data Augmentation Algorithm for Neural Machine Translation

Xinyi Wang, Hieu Pham+2 more|arXiv (Cornell University)|Aug 22, 2018

Natural Language Processing Techniques参考文献 12被引用 11

一句话总结

本文提出 SwitchOut，一种用于神经机器翻译的简单且高效的数据增强方法，通过在源句和目标句中随机替换词汇来提升模型的鲁棒性和性能。该方法在多个数据集上一致地将 BLEU 分数提升约 0.5，包括大规模的 WMT 15 英德数据集，其表现优于或匹配强基线方法（如词 dropout 和 RAML）。

ABSTRACT

In this work, we examine methods for data augmentation for text-based tasks such as neural machine translation (NMT). We formulate the design of a data augmentation policy with desirable properties as an optimization problem, and derive a generic analytic solution. This solution not only subsumes some existing augmentation schemes, but also leads to an extremely simple data augmentation strategy for NMT: randomly replacing words in both the source sentence and the target sentence with other random words from their corresponding vocabularies. We name this method SwitchOut. Experiments on three translation datasets of different scales show that SwitchOut yields consistent improvements of about 0.5 BLEU, achieving better or comparable performances to strong alternatives such as word dropout (Sennrich et al., 2016a). Code to implement this method is included in the appendix.

研究动机与目标

• 为解决神经机器翻译中数据多样性不足的挑战，设计一种可提升模型泛化能力的数据增强策略。
• 将数据增强形式化为一个优化问题，以最大化训练分布的平滑性和多样性。
• 推导出一个通用的解析解，涵盖现有方法（如词 dropout 和 RAML），从而提出一种新颖、简单的增强技术。
• 提出并评估 SwitchOut，一种独立地将源句和目标句中的词语替换为各自词汇表中随机词语的方法。
• 证明 SwitchOut 在不同规模的数据集（包括大规模和中等规模基准）上均能持续提升翻译性能。

提出的方法

• 作者将数据增强形式化为一个优化问题，以最大化一个鼓励增强后训练分布具备平滑性和多样性的目标函数。
• 他们推导出该优化问题的解析解，该解泛化了现有方法（如词 dropout 和奖励增强最大似然法，RAML）。
• SwitchOut 被提出为该解的一个具体实现：独立地将源句和目标句中的词语替换为各自词汇表中均匀随机选取的词语。
• 该方法引入温度参数 τₓ 和 τᵧ 以控制替换率，支持超参数调优以优化性能。
• 该方法计算效率高，无需复杂预处理或依赖语言模型。
• SwitchOut 与其它增强技术（如回译）兼容，可联合应用以进一步提升性能。

实验结果

研究问题

• RQ1 一个基于原则的优化框架能否导出一种简单而有效的神经机器翻译数据增强方法？
• RQ2 在源句和目标句中随机替换词语是否能提升模型的泛化能力和鲁棒性？
• RQ3 SwitchOut 在不同翻译任务中与词 dropout 和 RAML 等成熟数据增强技术相比，性能如何？
• RQ4 正如数据增强所预期的那样，SwitchOut 是否在分布外或罕见的测试样本上提供更大的性能增益？
• RQ5 SwitchOut 是否能与其它增强策略（如回译）有效结合？

主要发现

• 在 WMT 15 英德翻译任务中，SwitchOut 相较于基础 Transformer 模型，稳定提升了约 0.5 的 BLEU 分数。
• 在 IWSLT 2016 德语-英语和 IWSLT 2015 英语-越南语数据集上，SwitchOut 分别相较基础 Transformer 模型提升了 0.71 和 0.70 的 BLEU 分数。
• 当与 RAML 联合使用时，SwitchOut 在 en-de 任务上达到 23.13 的 BLEU 分数，显著优于仅使用 RAML 的 22.83。
• SwitchOut 在与训练样本相距较远的测试样本（以到最近邻的 WER 衡量）上表现出更大的性能增益，证实其在分布外输入上的有效性。
• SwitchOut 在相同数据集上的 BLEU 提升优于回译方法；当与回译联合使用时，en-de 任务的性能进一步提升至 23.76 的 BLEU 分数。
• 该方法对超参数调优具有鲁棒性，最优性能在非零温度参数 τₓ 和 τᵧ 下实现，尤其当 τₓ 非零时表现更优。