[논문 리뷰] Hybrid Data-Model Parallel Training for Sequence-to-Sequence Recurrent Neural Network Machine Translation

Junya Ono, Masao Utiyama외 1명|arXiv (Cornell University)|2019. 08. 01.

Natural Language Processing Techniques참고 문헌 19인용 수 1

한 줄 요약

이 논문은 기계 번역에서 시퀀스-투-시퀀스 RNN의 하이브리드 데이터-모델 병렬 학습 방법을 제안한다. RNN 인코더-디코더에는 모델 병렬화를, 어텐션-소프트맥스 구성 요소에는 데이터 병렬화를 적용한다. 이 방법은 BLEU 점수에 영향을 주지 않고 4개의 GPU에서 4.13~4.20배의 속도 향상을 달성하여 특허 번역과 같은 작업의 더 빠른 학습을 가능하게 한다.

ABSTRACT

Reduction of training time is an important issue in many tasks like patent translation involving neural networks. Data parallelism and model parallelism are two common approaches for reducing training time using multiple graphics processing units (GPUs) on one machine. In this paper, we propose a hybrid data-model parallel approach for sequence-to-sequence (Seq2Seq) recurrent neural network (RNN) machine translation. We apply a model parallel approach to the RNN encoder-decoder part of the Seq2Seq model and a data parallel approach to the attention-softmax part of the model. We achieved a speed-up of 4.13 to 4.20 times when using 4 GPUs compared with the training speed when using 1 GPU without affecting machine translation accuracy as measured in terms of BLEU scores.

연구 동기 및 목표

• 특허 번역과 같은 계산이 집약적인 작업에 대해 기계 번역에서 시퀀스-투-시퀀스 RNN 모델의 학습 시간을 줄이는 것.
• 순수한 데이터 병렬화 또는 모델 병렬화의 확장성 한계를 해결하기 위해 두 전략을 조합하는 것.
• 다중 GPU 시스템에서 학습 속도를 높이면서도 BLEU 점수로 측정된 번역 정확도를 유지하는 것.
• 계산 및 메모리 특성에 따라 다양한 모델 구성 요소를 다른 병렬화 전략에 할당하여 GPU 활용도를 최적화하는 것.

제안 방법

• RNN 인코더-디코더 구성 요소에 모델 병렬화를 적용하여 은닉 상태 계산을 GPU 간에 분산한다.
• 어텐션-소프트맥스 구성 요소에 데이터 병렬화를 사용하여 배치의 시퀀스를 GPU 간에 나누어 독립적으로 처리한다.
• 역전파 동안 매개변수 동기화와 기울기 평균화를 통해 GPU 파artitions 간의 통신을 조율한다.
• 메모리 집약적인 RNN 레이어는 모델 병렬화에, 계산 집약적인 어텐션 메커니즘은 데이터 병렬화에 할당하여 계산 부하를 균형 있게 조절한다.
• 하이브리드 학습 파이프라인에서 오버헤드를 최소화하기 위해 GPU 파artitions 간의 효율적인 통신 프rotocol을 구현한다.

실험 결과

연구 질문

• RQ1 하이브리드 데이터-모델 병렬 접근 방식이 번역 품질을 희생시키지 않고 Seq2Seq RNN의 학습 시간을 단축시킬 수 있는가?
• RQ2 모델 병렬화와 데이터 병렬화의 조합은 순수한 병렬화 전략에 비해 속도 향상과 정확도 측면에서 어떻게 비교되는가?
• RQ3 RNN 인코더-디코더와 어텐션-소프트맥스 구성 요소의 최적의 분할 전략은 무엇인가, 이를 통해 GPU 활용도를 극대화할 수 있는가?
• RQ4 하이브리드 접근 방식은 단일 GPU 학습에 비해 BLEU 점수를 어느 정도 유지하는가?

주요 결과

• 하이브리드 접근 방식은 단일 GPU 대비 4개의 GPU에서 학습할 경우 4.13~4.20배의 속도 향상을 달성했다.
• 속도 향상은 모든 학습 런에서 일관된 BLEU 점수로 확인되어 번역 품질에 영향을 주지 않았다.
• 모델 병렬화를 RNN에, 데이터 병렬화를 어텐션-소프트맥스 구성 요소에 활용함으로써 계산 부하를 효과적으로 균형 있게 조절했다.
• 효율적인 동기화를 통해 GPU 간 통신 오버헤드를 최소화하여 높은 학습 효율성을 유지했다.