[论文解读] Duplex Sequence-to-Sequence Learning for Reversible Machine Translation

Zaixiang Zheng, Hao Zhou+4 more|arXiv (Cornell University)|May 7, 2021

Natural Language Processing Techniques参考文献 38被引用 10

一句话总结

本文提出 REDER，一种基于共享 Transformer 架构的可逆双工序列到序列模型，通过单一统一网络实现双向机器翻译。通过利用可逆残差连接和非自回归解码，REDER 在 WMT14 En-De 上相比多任务基线模型最高提升 1.3 BLEU，且在 En-Ja 等远距离语言对上展现出强大的泛化能力。

ABSTRACT

Sequence-to-sequence learning naturally has two directions. How to effectively utilize supervision signals from both directions? Existing approaches either require two separate models, or a multitask-learned model but with inferior performance. In this paper, we propose REDER (Reversible Duplex Transformer), a parameter-efficient model and apply it to machine translation. Either end of REDER can simultaneously input and output a distinct language. Thus REDER enables reversible machine translation by simply flipping the input and output ends. Experiments verify that REDER achieves the first success of reversible machine translation, which helps outperform its multitask-trained baselines by up to 1.3 BLEU.

研究动机与目标

• 为解决现有多任务训练与循环训练方法在双向序列到序列学习中的局限性，特别是参数干扰与性能欠佳的问题。
• 通过设计对称且可逆的网络架构，实现单一模型同时支持源语言到目标语言与目标语言到源语言翻译，真正实现可逆机器翻译。
• 通过从语言特定端点组合模型的方式，实现无需完整微调即可构建组合模型，从而降低多语言场景下的训练与部署成本。
• 探索统一、参数高效模型的可行性，确保在多样化语言对之间保持循环一致性与高翻译质量。

提出的方法

• 设计一种双工 Transformer 架构，使输入与输出端均具备编码与解码能力，通过单一共享模型实现可逆翻译。
• 引入受 Gomez 等人（2017）启发的可逆残差连接机制，实现在前向与反向传播过程中对隐藏状态的精确逆变换。
• 用完全非自回归（NAT）建模替代标准自回归解码，以确保对称性并支持信息的双向流动。
• 同时使用双向平行数据进行训练，通过重建损失强制实现循环一致性。
• 应用知识蒸馏（KD）技术，从自回归教师模型中迁移知识，以提升非自回归生成的质量。
• 通过组合语言特定端点（如 En↔De 的 De 端与 En↔Ja 的 Ja 端）实现模型组合，从而在先前未连接的语言之间实现零样本翻译。

实验结果

研究问题

• RQ1 单一统一的神经网络能否在不为每个方向分别训练模型的情况下，实现高质量的可逆机器翻译？
• RQ2 具有对称可逆组件的双工架构是否在翻译质量与泛化能力方面优于共享参数的多任务学习方法？
• RQ3 所提出的模型能否在词汇重叠极少的远距离语言对（如英语与日语）上实现良好泛化？
• RQ4 该模型的可逆与组合式设计在多语言翻译系统训练与部署成本降低方面能达到何种程度？
• RQ5 在可逆对称架构中，知识蒸馏在提升非自回归生成质量方面的有效性如何？

主要发现

• 在 WMT14 英语到德语翻译基准上，RENDER 相比多任务训练基线模型最高提升 1.3 BLEU，表现出更优性能。
• 在 WMT20 英语到日语翻译任务中，RENDER 取得具有竞争力的结果（En-Ja 为 20.0/20.7 BLEU，Ja-En 为 20.7 BLEU），表明其在远距离语言对上的强大泛化能力。
• 在 WMT14 En-De 开发集上，模型的重建 BLEU 得分为 66.0，证实了其在实际应用中具有强大的可逆性与循环一致性。
• 定性案例研究显示，经过正向与反向翻译后，输入句子被准确重建，仅存在轻微的语言差异。
• 组合式设计通过结合预训练的 En↔De 与 En↔Ja 模型的端点，实现了德语与日语之间的零样本翻译，展示了模块化可扩展性。
• 尽管训练过程中未使用自回归生成，但通过束搜索与 AT 重排序的非自回归推理仍能生成高质量输出。