[논문 리뷰] Scaling End-to-End Models for Large-Scale Multilingual ASR

Bo Li, Ruoming Pang외 8명|arXiv (Cornell University)|2021. 04. 30.

Topic Modeling참고 문헌 42인용 수 13

한 줄 요약

이 논문은 데이터 불균형과 모델 용량 제약으로 인해 고자원 언어에서 성능 저하가 발생하는 문제를 해결하기 위해 GShard를 활용해 엔드 투 엔드 다국어 ASR 모델을 최대 100억 파라미터로 확장하는 방법을 제안한다. 모델 크기를 증가시킴으로써 모든 15개 언어에서 최신 기준 성능을 달성하였으며, 고자원 언어에서는 단일 언어 기반 기준보다 뛰어난 성능을 보였고, 추가 학습을 최소화하여 새로운 언어와 도메인으로의 지속적 적응이 효율적으로 가능해졌다.

ABSTRACT

Building ASR models across many languages is a challenging multi-task learning problem due to large variations and heavily unbalanced data. Existing work has shown positive transfer from high resource to low resource languages. However, degradations on high resource languages are commonly observed due to interference from the heterogeneous multilingual data and reduction in per-language capacity. We conduct a capacity study on a 15-language task, with the amount of data per language varying from 7.6K to 53.5K hours. We adopt GShard [1] to efficiently scale up to 10B parameters. Empirically, we find that (1) scaling the number of model parameters is an effective way to solve the capacity bottleneck - our 500M-param model already outperforms monolingual baselines and scaling it to 1B and 10B brought further quality gains; (2) larger models are not only more data efficient, but also more efficient in terms of training cost as measured in TPU days - the 1B-param model reaches the same accuracy at 34% of training time as the 500M-param model; (3) given a fixed capacity budget, adding depth works better than width and large encoders do better than large decoders; (4) with continuous training, they can be adapted to new languages and domains.

연구 동기 및 목표

• 모델 용량 제약과 데이터 불균형으로 인해 대규모 다국어 ASR에서 고자원 언어에서 성능 저하가 발생하는 문제를 해결한다.
• 다양한 데이터 크기를 가진 언어(7.6K~53.5K 시간) 간의 다국어 ASR 성능에 대해 모델 용량을 증가시켰을 때의 영향을 조사한다.
• 고정된 용량 예산 하에서 성능 향상을 위해 깊이 vs. 너비, 인코더 vs. 디코더 용량 할당 중 가장 효과적인 스케일링 전략을 규명한다.
• 기존 언어와 도메인에서의 성능 저하 없이 지속적 학습을 통해 새로운 언어와 도메인으로 다국어 모델을 확장할 수 있는지 탐색한다.
• 더 큰 모델이 표본 효율성과 학습 비용(테스트 정확도에 도달하기 위한 TPU 일 수) 측면에서 더 효율적임을 입증한다.

제안 방법

• GShard 혼합 전문가(MoE) 기법을 활용해 학습 효율성을 유지하면서도 모델을 최대 100억 파라미터로 효율적으로 확장한다.
• Attention 기반 인코더-디코더 아키텍처를 사용하여 단일 다국어 엔드 투 엔드 ASR 모델을 학습하며, Conformer 인코더와 Transformer 기반 디코더를 활용한다.
• 고정된 파라미터 예산 하에서 너비 대비 깊이 스케일링, 인코더 대비 디코더 용량 할당을 비교하는 분석 실험을 수행한다.
• 기존에 사전 학습된 다국어 모델을 새로운 언어와 도메인(예: 다국어 Librispeech 데이터셋의 독서 음성)에 맞게 지속적 학습을 통해 적응시킨다.
• 15개 언어에서 단어 오류율(WER)을 측정하여 성능을 평가하고, TPU 일 수와 목표 정확도에 도달하기 위한 학습 스텝 수를 통해 효율성을 평가한다.
• 기존 다국어 모델에서 초기화하여 지식 전이 및 전이 학습을 적용함으로써 수렴 속도와 성능 향상을 도모한다.

Fig. 1 : WER performance (%) vs. (a) training steps, (b) TPU days and (c) language. Systems with * use LSTM decoders.

실험 결과

연구 질문

• RQ1 100억 파라미터로 모델 용량을 확장함으로써 다국어 ASR 환경에서 고자원 언어에서의 성능 저하를 완전히 제거할 수 있는가?
• RQ2 고정된 파라미터 예산 하에서 깊이를 늘리거나 너비를 늘리는 것이 인식 성능에 어떤 영향을 미치는가?
• RQ3 더 큰 모델이 표본 효율성 향상과 학습 비용 감소(테스트 정확도에 도달하기 위한 TPU 일 수로 측정)에 기여하는가?
• RQ4 기존에 사전 학습된 다국어 모델을 지속적 학습을 통해 새로운 언어와 도메인에 효과적으로 미세조정할 수 있으며, 이로 인해 기존 언어에서의 성능 저하가 발생하지 않는가?
• RQ5 다양한 언어와 도메인에서 사전 학습한 모델이 알려지지 않은 언어와 음성 스타일로의 지식 전이가 어느 정도 가능할까?

주요 결과

• 모델을 5억 파라미터에서 100억 파라미터로 확장함으로써 모든 15개 언어에서 WER가 일관되게 감소하였으며, 10억 파라미터 모델은 고자원 언어에서 단일 언어 기반 기준보다 뛰어난 성능을 보였다.
• 10억 파라미터 모델은 평균 WER 11.57%를 달성하여, 32개의 단일 언어 1420만 파라미터 모델(평균 WER 11.87%)을 초월했으며, 단일 언어 설정에서 학습에 실패했던 필리핀어(PH)에서도 성능을 확보했다.
• 10억 파라미터 모델는 5억 파라미터 모델이 도달하는 정확도에 도달하는 데에 학습 시간의 34%만을 소요하여 TPU 일 수 측면에서 더 높은 학습 효율성을 입증했다.
• 더 큰 모델은 더 높은 표본 효율성을 보이며 수렴하기 위해 필요한 최적화 스텝 수가 적고, 다양한 언어와 도메인으로의 일반화 성능도 뛰어나다.
• 지속적 학습을 통해 모델은 새로운 언어(예: 다국어 Librispeech에서 5개의 미사전 언어)와 새로운 도메인(예: 장문의 독서 음성)에 적응할 수 있었으며, 무작위 초기화 대비 12% 상대적 WER 감소를 달성했다.
• 다국어 Librispeech 데이터셋에서 10억 파라미터 다국어 모델을 미세조정함으로써 평균 WER는 7.9%로 감소하여 10% 상대적 향상이 이루어졌고, 영어에서의 성능 저하 문제도 해결했다.

Fig. 2 : Extending the 15-language 1B model to 32 languages. (a) The data duration distribution per language. Yellow bars indicate the existing 15 languages and blue bars indicate the newly added languages. (b) WER (%) comparisons between monolingual models (grey), the existing 15-language 1B model