[논문 리뷰] An Empirical Study of Efficient ASR Rescoring with Transformers

Hongzhao Huang, Fuchun Peng|arXiv (Cornell University)|2019. 10. 24.

Topic Modeling참고 문헌 30인용 수 8

한 줄 요약

이 논문은 서브워드 토큰화, 적응형 소프트맥스, 대규모 사전 훈련, 지식 distillation을 조합하여 자동 음성 인식(ASR) 재평가를 위한 작고 고성능인 트랜스포머 언어 모델을 훈련하는 효율적인 방법을 제안한다. 이 방법은 파라미터의 5.5%에서 11.9%만을 사용하면서도 상당히 큰 GPT 모델과 유사한 성능을 보이며, 상대적 단어 오류율 감소율이 6.46%에서 7.17%에 이르며, 추론 지연과 계산 비용을 크게 감소시킨다.

ABSTRACT

Neural language models (LMs) have been proved to significantly outperform classical n-gram LMs for language modeling due to their superior abilities to model long-range dependencies in text and handle data sparsity problems. And recently, well configured deep Transformers have exhibited superior performance over shallow stack of recurrent neural network layers for language modeling. However, these state-of-the-art deep Transformer models were mostly engineered to be deep with high model capacity, which makes it computationally inefficient and challenging to be deployed into large-scale real-world applications. Therefore, it is important to develop Transformer LMs that have relatively small model sizes, while still retaining good performance of those much larger models. In this paper, we aim to conduct empirical study on training Transformers with small parameter sizes in the context of ASR rescoring. By combining techniques including subword units, adaptive softmax, large-scale model pre-training, and knowledge distillation, we show that we are able to successfully train small Transformer LMs with significant relative word error rate reductions (WERR) through n-best rescoring. In particular, our experiments on a video speech recognition dataset show that we are able to achieve WERRs ranging from 6.46% to 7.17% while only with 5.5% to 11.9% parameter sizes of the well-known large GPT model [1], whose WERR with rescoring on the same dataset is 7.58%.

연구 동기 및 목표

• ASR 재평가를 위해 강력한 성능을 유지하면서도 작고 효율적인 트랜스포머 언어 모델을 개발하기 위해.
• 모델 크기와 추론 지연을 줄이되, 인식 정확도를 훼손하지 않기 위해.
• 현실 세계의 응용에서 최신 트랜스포머 언어 모델의 대규모 배포를 가능하게 하는 기법들을 탐색하기 위해.
• 지식 distillation과 사전 훈련이 작은 모델의 성능 향상에 얼마나 효과적인지 평가하기 위해.

제안 방법

• 작은 어휘 크기(5K, 10K, 25K)의 바이트 페어 인코딩(BPE)을 사용하여 모델 크기를 줄이고, OOV(Out-of-Vocabulary) 단어를 처리하기 위해.
• 빈도가 높은 토큰과 드문 토큰에 대해 가변적인 용량을 할당하여 출력층의 계산 비용을 줄이기 위해 적응형 소프트맥스를 적용하기 위해.
• 도메인에 특화된 대규모 텍스트 데이터를 기반으로 큰 사전 훈련된 교사 모델을 훈련시켜 초기 표현 학습을 향상시키기 위해.
• 도메인에 특화된 ASR 데이터를 기반으로 교사 모델을 미세조정하여 도메인 특화 성능을 향상시키기 위해.
• 큰 교사 모델에서 작은 학생 모델로 지식을 전이하기 위해 지식 distillation을 사용하기 위해.
• 모든 기법을 융합하여 n-best 재평가에서 높은 성능을 달성하는 컴act한 트랜스포머 언어 모델을 훈련하기 위해.

실험 결과

연구 질문

• RQ1 파라미터 수를 줄인 작은 트랜스포머 언어 모델이 큰 모델과 비교해도 경쟁력 있는 ASR 재평가 성능을 달성할 수 있는가?
• RQ2 서브워드 단위와 적응형 소프트맥스가 성능을 유지하면서 모델 크기를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 대규모 사전 훈련과 지식 distillation이 ASR 재평가에서 작은 모델의 성능 향상에 얼마나 기여하는가?
• RQ4 작은 트랜스포머 언어 모델에서 모델 크기, 추론 속도, 단어 오류율 감소율 간의 상호 상충 관계는 어떠한가?

주요 결과

• 큰 GPT 모델의 파라미터 수의 5.5%에서 11.9%만을 사용하는 작은 트랜스포머 언어 모델이 영상 음성 인식 데이터셋에서 상대적 단어 오류율 감소율 6.46%에서 7.17%를 달성하였다.
• 5K 또는 10K BPE 어휘를 사용하고 적응형 소프트맥스를 적용함으로써 작은 모델의 모델 크기를 최대 61%까지 줄일 수 있었으며, 성능 저하 정도는 최소한이었다.
• 사전 훈련 및 미세조정된 교사 모델로부터의 지식 distillation은 10K 어휘 기준으로 퍼플렉서티를 11.8% 감소시키고, 5K 어휘 기준으로는 12.7% 감소시켰으며, 이는 WER 향상에도 기여하였다.
• 대규모 사전 훈련은 10K 어휘 기준으로 퍼플렉서티를 20.7% 감소시키고, 5K 어휘 기준으로는 12.7% 감소시켰으며, 이는 도메인 특화 데이터에서도 효과적임을 보여주었다.
• 서브워드 단위, 적응형 소프트맥스, 사전 훈련, distillation의 조합을 통해 작은 모델이 훨씬 큰 모델의 성능을 따라잡을 수 있었으며, 계산 비용을 크게 줄일 수 있었다.
• 5K 또는 10K BPE 어휘를 사용하는 작은 모델은 큰 트랜스포머 언어 모델 대비 CPU에서 추론 속도를 7.6배에서 8.4배까지 향상시켰다.