[논문 리뷰] Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq

Oleksii Kuchaiev, Boris Ginsburg외 6명|arXiv (Cornell University)|2018. 05. 25.

Topic Modeling참고 문헌 20인용 수 41

한 줄 요약

OpenSeq2Seq은 순서-투-순서(seq2seq) 모델을 위한 텐서플로우 기반 도구킷으로 혼합 정밀도 및 분산 학습을 가능하게 하여 정확도 손실 없이 NMT, ASR, 및 음성 합성 과제에서 1.5-3배 더 빠른 학습을 달성합니다.

ABSTRACT

We present OpenSeq2Seq - a TensorFlow-based toolkit for training sequence-to-sequence models that features distributed and mixed-precision training. Benchmarks on machine translation and speech recognition tasks show that models built using OpenSeq2Seq give state-of-the-art performance at 1.5-3x less training time. OpenSeq2Seq currently provides building blocks for models that solve a wide range of tasks including neural machine translation, automatic speech recognition, and speech synthesis.

연구 동기 및 목표

• seq2seq 모델을 위한 모듈식이고 확장 가능한 텐서플로우 기반 도구킷 제공.
• Volta/Turing GPU에서 Tensor Core를 활용하기 위한 혼합 정밀도 학습 활성화.
• 다중 GPU/다중 노드 설정을 위한 Horovod 기반 분산 학습 지원.
• MT 및 ASR 과제에서 학습 시간을 단축시키면서 최첨단 성능을 보임을 보이고자 함.

제안 방법

• 데이터 계층, 모델, 인코더, 디코더, 손실 등 모듈식 핵심 클래스를 도입.
• FP16 수학 연산과 FP32 마스터 가중치, 그리고 손실 스케일링으로 혼합 정밀도 학습 구현.
• FP16 그래디언트와 FP32 업데이트를 처리하는 MixedPrecisionOptimizerWrapper 제공.
• 다중 GPU/다중 노드 실행을 위한 Horovod 기반 분산 학습 활성화.
• GNMT, ConvS2S, Transformer, Deep Speech 2, Wave2Letter+, Tacotron 2 등 다양한 모델 블록 구성이 가능하도록 제공.
• MT, ASR, TTS 과제에서의 성능 벤치마크를 제시.

실험 결과

연구 질문

• RQ1 혼합 정밀도 학습이 정확도 손실 없이 seq2seq 모델 학습 속도를 높일 수 있는가?
• RQ2 OpenSeq2Seq의 MT, ASR, TTS 과제에서의 성능 및 메모리 사용량은 어떻게 비교되는가?
• RQ3 분산 학습(Horovod)이 GPU 및 노드 확장에 미치는 영향은 무엇인가?
• RQ4 새로운 seq2seq 모델 구성을 위한 모듈식 아키텍처의 유연성은 어느 정도인가?
• RQ5 혼합 정밀도 학습 중 중요한 구성 요소의 FP32 정확도를 유지하기 위한 실제적인 고려사항은 무엇인가?

주요 결과

• 혼합 정밀도 학습은 MT, ASR, TTS 과제 전반에서 메모리 사용을 줄이고 학습 속도를 1.5–3배 향상시킵니다.
• 손실 스케일링과 FP32 마스터 가중치는 FP16 순전파/역전파 중 정확도를 보존합니다.
• Horovod 기반 분산 학습은 특히 더 큰 GPU 수에서 TensorFlow 기본 구동 방식보다 훨씬 더 잘 확장됩니다.
• GNMT, ConvS2S 및 Transformer 블록을 혼합하여 다양한 NMT 모델을 구성하더라도 경쟁력 있는 BLEU 점수를 얻을 수 있습니다.
• ASR 결과는 혼합 정밀도 설정에서 메모리 사용량이 약 57% 감소하고 상당한 속도 향상을 보입니다.
• Mixed precision으로 Tacotron 2를 학습하면 FP32에 비해 약 1.6배 빠른 학습이 가능합니다.