[论文解读] Multi-Task Neural Models for Translating Between Styles Within and Across Languages

Xing Niu, Sudha Rao+1 more|arXiv (Cornell University)|Jun 12, 2018

Natural Language Processing Techniques参考文献 36被引用 52

一句话总结

论文提出一个统一的多任务神经 MT 模型，在双向进行单语形式/风格转移（formality transfer），并实现从法语到英语的形式感知翻译（formality-aware translation），在形式转移方面达到最新状态，在没有带风格标注的翻译数据的情况下对形式敏感 MT 也具有竞争力。

ABSTRACT

Generating natural language requires conveying content in an appropriate style. We explore two related tasks on generating text of varying formality: monolingual formality transfer and formality-sensitive machine translation. We propose to solve these tasks jointly using multi-task learning, and show that our models achieve state-of-the-art performance for formality transfer and are able to perform formality-sensitive translation without being explicitly trained on style-annotated translation examples.

研究动机与目标

• 把形式作为文本生成中的一个核心风格维度来激发与解决问题。
• 开发一个单一的神经 MT 模型，能够在英语中执行双向形式转移。
• 利用侧约束实现法语-英语的形式感知翻译（FSMT）。
• 证明联合多任务学习同时利用单语风格并行数据和双语数据来提升 FT 与 FSMT。
• 通过自动 BLEU 和人工评估来评估形式控制、流畅性和意义保持。

提出的方法

• 使用带有共享编码器/解码器的注意力型 seq2seq NMT 架构。
• 通过拼接双向数据并在源句前添加目标形式标签（<F> 或 <I>）实现英语的双向形式转移。
• 通过对双语法英数据以正式或非正式目标风格进行标记，并通过交叉熵差（CED）来近似形式感知，从而实现形式感知翻译（FSMT）的侧约束。
• 多任务学习设置，在 FT 与 FSMT 上共同训练，包含多种配置（MultiTask-tag-style、MultiTask-style、MultiTask-random）。
• 预处理包括标准化、分词、大小写归一、联合 BPE（32k）和绑定嵌入；模型细节包括基于 Sockeye 的注意力编码器-解码器、LSTM 编码器（512）、注意力（512）、 dropout、Adam 优化，以及集成解码。

实验结果

研究问题

• RQ1 一个单一模型是否能够有效地进行双方向的形式转移？
• RQ2 应如何将单语 FT 数据与双语 FSMT 数据结合以最大化性能？
• RQ3 哪种双语数据及标记策略对联合 FT 与 FSMT 学习最有利？
• RQ4 是否可以在没有显式风格标注翻译数据的情况下通过多任务学习来学习 FSMT？

主要发现

模型	E&M I→F BLEU	F&R I→F BLEU	E&M F→I BLEU	F&R F→I BLEU
PBMT [Rao & Tetreault 2018]	68.22	72.94	33.54	32.64
NMT Baseline [Rao & Tetreault 2018]	58.80	68.28	30.57	36.71
NMT Combined [Rao & Tetreault 2018]	68.41	74.22	33.56	35.03
NMT Baseline	65.34	71.28	32.36	36.23
Bi-directional FT	66.30	71.97	34.00	36.33
+ training on E&M + F&R	69.20	73.52	35.44	37.72
+ ensemble decoding (×4)	71.36	74.49	36.18	38.34
+ multi-task learning (MultiTask-tag-style)	72.13	75.37	38.04	39.09

• 在多任务学习下的双向形式转移在 FT 上实现了最先进的 BLEU 分数（在两种转移方向的 72.13 和 75.37，分别进行了增强与集成）。
• 在 FSMT 中，具有多任务学习的神经模型表现出竞争力的性能并在形式控制方面优于某些基线，例如在 FR→Formal-EN 与 FR→Informal-EN 上的 BLEU 分别为 25.24 和 25.14，并且在人工评估中超过若干非神经基线。
• 人工评估显示 MultiTask-tag-style 在将正式→非正式转移时输出显著更加非正式，在将非正式→正式转移时略微更加正式，且在意义保持方面与强基线相当。
• 联合模型สามารถ在没有显式风格标注翻译数据的情况下学习 FSMT，且多任务学习提升 FT 超过此前的单任务方法。
• 双语数据规模与数据选择（基于 CED 的标记）对 FT 产生正向影响，达到拐点后增益趋于平缓；而翻译质量随着数据量的增加而继续提升。