[논문 리뷰] fairseq: A Fast, Extensible Toolkit for Sequence Modeling

Myle Ott, Sergey Edunov외 6명|arXiv (Cornell University)|2019. 04. 01.

Topic Modeling참고 문헌 47인용 수 163

한 줄 요약

fairseq는 분산 학습, 혼합 정밀도, 최적화된 추론을 통해 번역, 요약, 언어 모델링 작업 전반에 걸친 연구와 프로덕션을 가능하게 하는 PyTorch 기반의 빠르고 확장 가능한 시퀀스 모델링 도구 키트이다.

ABSTRACT

fairseq is an open-source sequence modeling toolkit that allows researchers and developers to train custom models for translation, summarization, language modeling, and other text generation tasks. The toolkit is based on PyTorch and supports distributed training across multiple GPUs and machines. We also support fast mixed-precision training and inference on modern GPUs. A demo video can be found at https://www.youtube.com/watch?v=OtgDdWtHvto

연구 동기 및 목표

• PyTorch 위에 구축된 빠르고 확장 가능한 시퀀스 모델링 도구 키트를 제공한다.
• 분산 및 혼합 정밀도 학습과 효율적인 추론을 지원한다.
• MT, 요약, 및 언어 모델링을 위한 최첨단 구현과 사전 학습된 모델을 제공한다.
• 모델, 손실 함수, 작업, 옵티마이저, 스케줄러에 대한 플러그인을 통해 쉽게 확장할 수 있도록 한다.

제안 방법

• 확장성을 위한 다섯 가지 유형의 사용자가 제공하는 플러그인(모델, 손실 함수, 작업, 옵티마이저, 스케줄러).
• 모델과 태스크 간의 공통 인터페이스로, 플러그인을 통해 확장 가능하다.
• 미니배치에서 패딩을 최소화하기 위한 효율적인 배칭 및 그룹화.
• NCCL2와 torch.distributed를 이용한 동기식 다중-GPU/다중 머신 학습.
• FP16 순전파/역전파와 FP32 업데이트를 이용한 혼합 정밀도 학습과 동적 손실 스케일링.
• 캐싱을 통한 비 순환 모델의 신속한 추론을 위한 점진적 디코딩.
• 검색 옵션으로 빔 탐색, 다앙한 빔 탐색, 상위-k 샘플링.

실험 결과

연구 질문

• RQ1 하나의 도구 키트가 번역, 언어 모델링, 요약에 걸친 빠르고 확장 가능하며 확장 가능한 시퀀스 모델링을 어떻게 제공할 수 있을까?
• RQ2 대규모 데이터셋에서 효율적인 다중-GPU/다중 머신 학습 및 추론을 가능하게 하는 아키텍처 및 학습 전략은 무엇인가?
• RQ3 강력한 손실 스케일링이 있는 혼합 정밀도 학습이 처리량을 높이면서도 모델 품질을 유지할 수 있을까?
• RQ4 추론에서의 디코더 최적화(예: 점진적 디코딩, 캐싱)가 정확도를 해치지 않으면서 번역 속도에 미치는 영향은 무엇인가?

주요 결과

• Fairseq는 분산 및 혼합 정밀도 학습으로 수억 개의 문장으로 구성된 데이터셋의 학습을 가능하게 한다.
• V100에서 큰 Transformer 모델의 경우 FP16일 때 초당 136.0문장으로 FP32 88.1문장 대비 추론 속도가 빨라진다.
• FP16 추론은 테스트 설정에서 정확도 손실 없이 디코딩 속도를 54% 증가시킨다.
• Transformer base 및 big 모델은 각각 En–De에서 BLEU 점수 28.1과 29.3, En–Fr에서 41.1과 43.2를 달성한다(특정 설정으로).
• CNN-DailyMail에 대한 추상적 요약은 ROUGE-1/2/L가 40.1/17.6/36.8로 나타나며, 사전학습된 LM을 사용할 때 각각 41.6/18.9/38.5로 향상된다.