[论文解读] Adaptive Sparse Transformer for Multilingual Translation

Hongyu Gong, Xian Li+1 more|arXiv (Cornell University)|Apr 15, 2021

Natural Language Processing Techniques参考文献 24被引用 12

一句话总结

本文提出一种自适应稀疏Transformer架构，用于多语言翻译，通过学习语言特定的子网络来减少干扰，同时实现知识迁移。通过在注意力头、前馈网络模块和层上实现细粒度稀疏性，并根据输入语言自适应选择，该方法在标准Transformer基础上，于一对一、多对一和零样本翻译任务中分别取得+2.1、+1.3和+6.2的BLEU提升，且推理成本未增加。

ABSTRACT

Multilingual machine translation has attracted much attention recently due to its support of knowledge transfer among languages and the low cost of training and deployment compared with numerous bilingual models. A known challenge of multilingual models is the negative language interference. In order to enhance the translation quality, deeper and wider architectures are applied to multilingual modeling for larger model capacity, which suffers from the increased inference cost at the same time. It has been pointed out in recent studies that parameters shared among languages are the cause of interference while they may also enable positive transfer. Based on these insights, we propose an adaptive and sparse architecture for multilingual modeling, and train the model to learn shared and language-specific parameters to improve the positive transfer and mitigate the interference. The sparse architecture only activates a sub-network which preserves inference efficiency, and the adaptive design selects different sub-networks based on the input languages. Our model outperforms strong baselines across multiple benchmarks. On the large-scale OPUS dataset with $100$ languages, we achieve $+2.1$, $+1.3$ and $+6.2$ BLEU improvements in one-to-many, many-to-one and zero-shot tasks respectively compared to standard Transformer without increasing the inference cost.

研究动机与目标

• 解决多语言神经机器翻译中的语言干扰问题，尽管存在知识迁移的优势，但性能仍会下降。
• 降低因参数共享导致计算开销高的深度宽广多语言模型的推理成本。
• 通过学习哪些组件（如注意力头、FFN模块）应共享或专属每种语言，实现细粒度参数共享。
• 比较不同稀疏类型（注意力、FFN和层级稀疏）在不同语言规模下的有效性。
• 在不牺牲推理效率的前提下，通过自适应、语言条件化的稀疏性提升翻译质量。

提出的方法

• 引入一个潜在变量模型，根据输入语言学习激活语言特定的子网络，实现自适应稀疏性。
• 在多个尺度上应用稀疏性：注意力头、前馈网络（FFN）模块和Transformer层，每种语言可选择其自身的子集。
• 使用top-k损失鼓励稀疏路由，使用差异损失防止过正则化，确保组件使用均衡。
• 将FFN权重矩阵划分为块，允许语言间部分共享，并为特定语言分配专属注意力头，以保持语言特异性。
• 采用类似专家混合（mixture-of-experts）的路由机制用于FFN和注意力模块，仅激活的子组件参与推理。
• 支持端到端可微路由训练，实现稀疏模式与模型参数的联合优化。

实验结果

研究问题

• RQ1 在多语言设置中，哪种稀疏类型——注意力、FFN或层级——能带来最佳翻译性能？
• RQ2 多种稀疏类型组合在大规模多语言翻译任务中的性能影响如何？
• RQ3 语言亲缘关系和资源规模在多大程度上影响学习到的参数共享模式？
• RQ4 自适应、细粒度稀疏性是否能在不增加推理成本的前提下提升翻译质量？
• RQ5 模型的稀疏模式在多大程度上反映了语言之间的语言关系和资源差异？

主要发现

• 在包含100种语言的OPUS-100数据集上，与标准Transformer相比，该模型在一对一、多对一和零样本翻译任务中分别实现+2.1、+1.3和+6.2的BLEU提升。
• 通过仅激活每种输入语言的子网络，模型保持了推理效率，尽管性能提升，但计算成本未增加。
• 在中等规模翻译任务（24种语言）中，FFN稀疏性在一对一翻译中带来最佳增益，而注意力稀疏性在多对一翻译中表现最佳。
• 在大规模OPUS-100数据集上，结合所有类型的稀疏性（注意力、FFN和层）在所有任务中均实现最优性能。
• 模型学习到的稀疏模式与语言家族和资源规模相关，高资源语言与低资源语言之间的共享程度较低。
• 模型性能对稀疏度水平具有鲁棒性：即使不使用稀疏损失，BLEU分数仅下降0.1，表明top-k损失能有效维持稀疏性。