[论文解读] Improving Robustness of Machine Translation with Synthetic Noise
本文提出两种方法以提升机器翻译在社交媒体文本自然噪声下的鲁棒性：合成噪声引入（SNI）用于模拟拼写错误、语法错误和俚语错误；以及带目标噪声注入的回译（TBT），用于生成风格对齐的噪声平行数据。两种方法在MTNT基准测试中均显著提升了BLEU分数，其中TBT比SNI高出0.9 BLEU，且使原始模型无需微调即可泛化至未见领域的噪声文本。
Modern Machine Translation (MT) systems perform consistently well on clean, in-domain text. However most human generated text, particularly in the realm of social media, is full of typos, slang, dialect, idiolect and other noise which can have a disastrous impact on the accuracy of output translation. In this paper we leverage the Machine Translation of Noisy Text (MTNT) dataset to enhance the robustness of MT systems by emulating naturally occurring noise in otherwise clean data. Synthesizing noise in this manner we are ultimately able to make a vanilla MT system resilient to naturally occurring noise and partially mitigate loss in accuracy resulting therefrom.
研究动机与目标
- 探究是否能有效生成合成噪声以模拟社交媒体文本中的自然噪声。
- 评估在人工噪声数据上微调原始机器翻译系统是否能提升其在真实噪声测试集上的表现。
- 比较启发式合成噪声引入（SNI）与带目标噪声的回译（TBT）在噪声文本领域适应中的有效性。
- 评估不同量的监督数据与噪声水平对模型泛化能力与翻译质量的影响。
提出的方法
- 启发式合成噪声引入（SNI）使用基于规则的转换，将常见的社交媒体噪声类型——拼写错误、语法错误和俚语——注入干净的平行语句中。
- 目标回译（TBT）利用带噪声标签的回译，生成保留真实噪声文本风格与词汇特征的噪声目标语句。
- 基线Transformer类LSTM编码器-解码器模型在干净数据（Europarl, TED）与合成噪声数据（MTNT, TBT, SNI）组合上进行微调。
- 噪声被随机注入句子中的位置，包括粗俗语、拼写错误和非正式语法，以模拟真实世界中的语言变异。
- 模型使用Byte-Pair Encoding（BPE）与SentencePiece，并在嵌入层与输出投影层之间采用参数共享以提升效率。
- 实验通过BLEU分数评估在MTNT测试集上的性能，并对噪声水平与监督数据规模进行消融研究。
实验结果
研究问题
- RQ1能否通过启发式方法有效合成社交媒体文本中常见的噪声类型？
- RQ2在合成噪声数据上微调原始机器翻译系统是否能提升其在真实噪声测试集上的表现？
- RQ3带目标噪声的回译（TBT）与启发式合成噪声引入（SNI）相比，在提升鲁棒性方面表现如何？
- RQ4合成噪声量与监督数据量的变化对模型性能有何影响？
主要发现
- 在MTNT测试集上，TBT方法比SNI高出0.9 BLEU，表明风格感知的噪声注入能带来更好的泛化能力。
- 使用20k个MTNT样本进行微调显著优于10k样本，表明更多监督数据有助于捕捉如'非常'等细微语言特征。
- 噪声水平与BLEU分数之间呈近似线性关系，噪声水平越高，性能越稳定下降。
- 在合成噪声中包含粗俗语对BLEU影响最大，表明当前噪声注入方法可能未能充分反映自然的感叹词使用模式。
- 表现最佳的模型（FT w/ EP-100k-TBT + MTNT-train-20k）生成的输出在风格与内容上均与参考译文高度一致，即使对粗俗语进行了屏蔽。
- 仅在干净数据上微调（如TED-100k）效果微弱，凸显了噪声感知数据增强对鲁棒性的重要性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。