[논문 리뷰] Token-Level Ensemble Distillation for Grapheme-to-Phoneme Conversion

Hao Sun, Xu Tan외 5명|arXiv (Cornell University)|2019. 04. 06.

Topic Modeling참고 문헌 31인용 수 13

한 줄 요약

이 논문은 그래프음에서 발음으로의 변환(G2P)을 위한 토큰 수준의 앙상블 distillation을 제안한다. 비라벨 데이터와 지식 distillation을 활용하여 정확도를 향상시키고 모델 크기를 줄인다. 라벨이 없는 데이터에서 훈련된 다양한 Transformer 기반의 교사 모델 앙상블을 생성하고, 이들의 토큰 수준 예측을 경량 학생 모델에 distillation함으로써, CMUDict에서 새로운 최고 성능인 WER 19.88%를 달성한다. 이는 이전 작업보다 4.22% 향상된 성능이며, 온라인 배포에 효율적이다.

ABSTRACT

Grapheme-to-phoneme (G2P) conversion is an important task in automatic speech recognition and text-to-speech systems. Recently, G2P conversion is viewed as a sequence to sequence task and modeled by RNN or CNN based encoder-decoder framework. However, previous works do not consider the practical issues when deploying G2P model in the production system, such as how to leverage additional unlabeled data to boost the accuracy, as well as reduce model size for online deployment. In this work, we propose token-level ensemble distillation for G2P conversion, which can (1) boost the accuracy by distilling the knowledge from additional unlabeled data, and (2) reduce the model size but maintain the high accuracy, both of which are very practical and helpful in the online production system. We use token-level knowledge distillation, which results in better accuracy than the sequence-level counterpart. What is more, we adopt the Transformer instead of RNN or CNN based models to further boost the accuracy of G2P conversion. Experiments on the publicly available CMUDict dataset and an internal English dataset demonstrate the effectiveness of our proposed method. Particularly, our method achieves 19.88% WER on CMUDict dataset, outperforming the previous works by more than 4.22% WER, and setting the new state-of-the-art results.

연구 동기 및 목표

• 제한된 라벨 데이터로 G2P 모델을 배포하는 데 발생하는 실용적 과제를 해결: 라벨 데이터가 적은 상황에서 정확도를 향상시키고, 온라인 시스템에 적합한 모델 크기를 줄인다.
• 대규모 비라벨 그래프음 시퀀스를 활용하여 인간의 주석 없이도 모델의 일반화 능력을 향상시킨다.
• 큰 모델이나 앙상블 G2P 모델의 크기를 줄이되, 높은 정확도를 유지하여 실시간 추론에 적합하게 한다.
• 시퀀스 간 변환 G2P 작업에서 토큰 수준의 지식 distillation이 시퀀스 수준의 distillation보다 효과적인지 탐색한다.
• RNN 및 CNN 대비 Transformer 기반 아키텍처가 G2P 변환에서 성능 향상에 기여하는지 조사한다.

제안 방법

• 비라벨 그래프음 시퀀스에서 교사 모델을 훈련하여 의사 라벨이 부여된 발음 시퀀스와 그 확률 분포를 생성한다.
• 각 토큰 위치에서의 소프트 레이블이 학생 모델의 훈련을 이끄는 토큰 수준의 지식 distillation을 사용하여 교사 모델의 지식을 전이한다.
• 다양한 모델(CNN, RNN, Transformer)의 앙상블을 교사로 구성하여 지식 품질과 모델의 강건성을 향상시킨다.
• 지식 distillation을 라벨이 부여된 데이터뿐 아니라, 비라벨 데이터에서 교사가 생성한 의사 라벨 출력에도 적용하여 훈련 신호를 효과적으로 확장한다.
• distillation을 통해 훈련된 경량 학생 모델(1-1층 인코더-디코더)을 사용하여 파rameter 수와 추론 시간을 크게 줄였지만 높은 정확도를 유지한다.
• 자기 주의 메커니즘을 활용하여 RNN나 CNN 기반 모델보다 더 나은 시퀀스 모델링 능력을 가지는 Transformer 아키텍처를 기본 모델로 사용한다.

실험 결과

연구 질문

• RQ1 비라벨 데이터에서 훈련된 교사 모델의 지식 distillation이 인간 주석 없이도 G2P 정확도를 향상시킬 수 있는가?
• RQ2 G2P 변환 작업에서 토큰 수준의 distillation이 시퀀스 수준의 distillation보다 우수한가?
• RQ3 CNN, RNN, Transformer로 구성된 다양한 모델의 앙상블 교사가 단일 모델보다 더 나은 지식 전이를 이끌 수 있는가?
• RQ4 RNN 또는 CNN 대비 Transformer 아키텍처를 사용할 경우 G2P 성능 향상이 이루어지는가?
• RQ5 지식 distillation을 통해 모델 크기를 효과적으로 줄일 수 있으며, 정확도를 유지하거나 향상시켜 온라인 배포에 적합한가?

주요 결과

• 제안된 방법은 CMUDict 0.7b 데이터셋에서 새로운 최고 성능인 WER 19.88%를 달성하여 이전 최고 성능보다 4.22% 향상되었다.
• 지식 distillation을 통해 비라벨 데이터를 통합하면, 이를 사용하지 않은 훈련 대비 WER가 약 1% 감소한다.
• 토큰 수준의 distillation은 19.88% WER를 달성하여, 시퀀스 수준의 distillation(20.32% WER)보다 뚜렷이 뛰어나다.
• 다양한 모델의 앙상블 교사 모델을 사용할 경우 WER가 19.88%로 떨어지지만, 단일 교사 모델을 사용할 경우 21.05%로 높아지며, 이는 모델 다양성의 이점임을 입증한다.
• 1-1층 구조의 distillation된 학생 모델은 WER 20.25%를 기록하며, 파rameter 수는 185만 개로 6-6 기준 모델 대비 6배 작고, 4배 빠른 속도를 보이며 높은 정확도를 유지한다.
• 내부 영어 데이터셋에서, 방법을 적용하면 WER가 CNN(NSGD) 기반의 22.39%에서 18.87%로 감소하여, 공개 벤치마크를 초월한 효과를 확인한다.