[论文解读] Hybrid Data-Model Parallel Training for Sequence-to-Sequence Recurrent Neural Network Machine Translation

Junya Ono, Masao Utiyama+1 more|arXiv (Cornell University)|Aug 1, 2019

Natural Language Processing Techniques参考文献 19被引用 1

一句话总结

本文提出了一种用于机器翻译中序列到序列RNN的混合数据-模型并行训练方法，对RNN编码器-解码器采用模型并行，对注意力-Softmax组件采用数据并行。该方法在4块GPU上实现了4.13–4.20倍的加速，且BLEU分数未下降，使专利翻译等任务的训练速度显著提升。

ABSTRACT

Reduction of training time is an important issue in many tasks like patent translation involving neural networks. Data parallelism and model parallelism are two common approaches for reducing training time using multiple graphics processing units (GPUs) on one machine. In this paper, we propose a hybrid data-model parallel approach for sequence-to-sequence (Seq2Seq) recurrent neural network (RNN) machine translation. We apply a model parallel approach to the RNN encoder-decoder part of the Seq2Seq model and a data parallel approach to the attention-softmax part of the model. We achieved a speed-up of 4.13 to 4.20 times when using 4 GPUs compared with the training speed when using 1 GPU without affecting machine translation accuracy as measured in terms of BLEU scores.

研究动机与目标

• 降低序列到序列RNN模型在机器翻译中的训练时间，特别是针对专利翻译等计算密集型任务。
• 通过结合两种策略，解决纯数据并行或模型并行在可扩展性方面的局限性。
• 在多GPU系统上加速训练的同时，保持高翻译准确度，以BLEU分数作为衡量标准。
• 通过根据计算和内存特性，将不同模型组件分配给不同的并行化策略，优化GPU利用率。

提出的方法

• 对RNN编码器-解码器组件应用模型并行，将隐藏状态计算分布在多个GPU上。
• 对注意力-Softmax组件使用数据并行，将序列批次分割到不同GPU上独立处理。
• 在反向传播过程中，通过参数同步和梯度平均协调GPU分区之间的通信。
• 通过将内存密集型RNN层分配给模型并行，将计算密集型注意力机制分配给数据并行，实现计算负载的均衡。
• 在GPU分区之间实现高效的通信协议，以最小化混合训练流水线中的开销。

实验结果

研究问题

• RQ1 混合数据-模型并行方法是否能在不牺牲翻译质量的前提下，减少Seq2Seq RNN的训练时间？
• RQ2 与纯并行化策略相比，模型并行与数据并行的结合在加速比和准确率方面表现如何？
• RQ3 如何对RNN编码器-解码器和注意力-Softmax组件进行最优划分，以最大化GPU利用率？
• RQ4 与单GPU训练相比，该混合方法在BLEU分数上的保持程度如何？

主要发现

• 与单GPU相比，使用4块GPU进行训练时，该混合方法实现了4.13至4.20倍的加速。
• 加速效果未造成翻译质量的任何下降，各次训练运行的BLEU分数保持一致。
• 该方法通过为RNN采用模型并行、为注意力-Softmax组件采用数据并行，有效平衡了计算负载。
• 通过高效的同步机制，最小化了GPU之间的通信开销，从而保持了高训练效率。