[论文解读] Data Scaling Laws in NMT: The Effect of Noise and Architecture

Yamini Bansal, Behrooz Ghorbani+6 more|arXiv (Cornell University)|Feb 4, 2022

Natural Language Processing Techniques被引用 8

一句话总结

本文研究了架构选择与数据质量如何影响神经机器翻译（NMT）中的数据缩放规律。研究发现，大多数改动——如模型架构、数据过滤和独立的合成噪声——仅对缩放曲线产生乘法性偏移，对缩放指数影响极小。然而，反向翻译显著降低了缩放指数，表明其引入了根本性的分布变化，从而降低了样本效率。

ABSTRACT

In this work, we study the effect of varying the architecture and training data quality on the data scaling properties of Neural Machine Translation (NMT). First, we establish that the test loss of encoder-decoder transformer models scales as a power law in the number of training samples, with a dependence on the model size. Then, we systematically vary aspects of the training setup to understand how they impact the data scaling laws. In particular, we change the following (1) Architecture and task setup: We compare to a transformer-LSTM hybrid, and a decoder-only transformer with a language modeling loss (2) Noise level in the training distribution: We experiment with filtering, and adding iid synthetic noise. In all the above cases, we find that the data scaling exponents are minimally impacted, suggesting that marginally worse architectures or training data can be compensated for by adding more data. Lastly, we find that using back-translated data instead of parallel data, can significantly degrade the scaling exponent.

研究动机与目标

• 理解架构变化与数据质量因素如何影响NMT中的数据缩放规律。
• 评估模型架构改进或数据过滤是否能带来可测量的样本效率增益。
• 研究不同数据分布（包括合成噪声与反向翻译）是否改变缩放指数的根本性质。
• 通过量化数据质量、架构与数据量之间的权衡，为大规模NMT训练提供实证指导。
• 探讨缩放指数是否捕捉了深度网络学习机制的根本属性。

提出的方法

• 在从50万到5.12亿句对的英语-德语并行数据子集上训练编码器-解码器Transformer模型。
• 系统性地改变模型架构：比较标准Transformer、Transformer-LSTM混合模型，以及使用语言建模损失的仅解码器Transformer。
• 向源序列和目标序列独立引入合成噪声（i.i.d.），以评估对数据损坏的鲁棒性。
• 使用Bicleaner和对比性数据选择（CDS）进行数据过滤，以评估其对缩放行为的影响。
• 使用不同规模（2L6L至64L6L）的德语到英语模型训练反向翻译数据，以评估其对分布的影响。
• 拟合形式为 $ \text{loss} \propto \alpha \cdot D^{-p} + C $ 的幂律缩放模型，其中 $ D $ 为数据集大小，并分析指数 $ p $ 以及参数 $ \alpha $、$ C $ 的变化。

实验结果

研究问题

• RQ1 模型架构的变化（如编码器-解码器与仅解码器）如何影响NMT中数据缩放指数？
• RQ2 数据过滤或合成噪声在多大程度上改变缩放指数，表明样本效率是否发生变化？
• RQ3 作为常见数据增强技术的反向翻译，与人工并行数据相比，是否显著降低数据缩放指数？
• RQ4 根据缩放规律预测，模型架构或数据质量的改进是否能通过增加训练数据量来抵消？
• RQ5 不同的训练流程是否导致根本不同的缩放行为，还是指数在许多实际干预下保持不变？

主要发现

• 编码器-解码器Transformer在测试集上的对数困惑度随数据集规模按幂律缩放，标准并行数据的缩放指数 $ p \approx 0.28 $。
• 架构改动（如Transformer-LSTM混合、仅解码器）或数据过滤（Bicleaner、CDS）仅导致缩放曲线的乘法性偏移，对缩放指数 $ p $ 无显著影响。
• 向输入或输出序列添加独立的合成噪声对缩放指数影响极小，表明模型对这类噪声具有鲁棒性。
• 反向翻译将缩放指数显著降低至 $ p \approx 0.19 $，表明与人工并行数据相比，样本效率大幅下降。
• 更大的反向翻译模型改善了截距 $ C $ 和尺度参数 $ \alpha $，但未改善指数 $ p $，表明其根本学习速率未变。
• 即使使用最大规模的反向翻译模型，其性能仍无法在规模上匹配人工并行数据，表明数据质量存在持久差距，无法完全由数据量补偿。