[논문 리뷰] Learn Spelling from Teachers: Transferring Knowledge from Language Models to Sequence-to-Sequence Speech Recognition

Ye Bai, Jiangyan Yi외 3명|arXiv (Cornell University)|2019. 07. 13.

Speech Recognition and Synthesis참고 문헌 20인용 수 4

한 줄 요약

이 논문은 외부 RNN 언어 모델(선생)에서 일련의 시퀀스-투-시퀀스(SEQ2SEQ) 음성 인식 모델(학생)으로 지식을 전달하기 위해 훈련 중 소프트 레이블을 사용하는 지식 정련 기반 접근법인 '선생으로부터 철자 배우기'(LST)를 제안한다. 이 방법은 추론 시 외부 컴포넌트를 추가하지 않으면서도 기존 SEQ2SEQ 모델 대비 문자 오류율(CER)을 18.42% 상대적으로 향상시키며, AISHELL-1에서 9.3%의 CER을 달성하고, 얕은 융합을 사용할 경우 8.3%의 CER을 기록한다.

ABSTRACT

Integrating an external language model into a sequence-to-sequence speech recognition system is non-trivial. Previous works utilize linear interpolation or a fusion network to integrate external language models. However, these approaches introduce external components, and increase decoding computation. In this paper, we instead propose a knowledge distillation based training approach to integrating external language models into a sequence-to-sequence model. A recurrent neural network language model, which is trained on large scale external text, generates soft labels to guide the sequence-to-sequence model training. Thus, the language model plays the role of the teacher. This approach does not add any external component to the sequence-to-sequence model during testing. And this approach is flexible to be combined with shallow fusion technique together for decoding. The experiments are conducted on public Chinese datasets AISHELL-1 and CLMAD. Our approach achieves a character error rate of 9.3%, which is relatively reduced by 18.42% compared with the vanilla sequence-to-sequence model.

연구 동기 및 목표

• 추론 복잡도를 증가시키지 않고 외부 언어 모델을 종단 간 일련의 시퀀스-투-시퀀스 음성 인식 시스템에 통합하는 데 도전하는 것.
• 데이터 기반 정규화 기반 정련 방법을 통해 대규모 외부 텍스트 데이터를 활용하여 자동 음성 인식 성능을 향상시키는 것.
• 훈련 중에 외부 언어 모델을 원활하게 통합하면서도 추론 시에 완전히 제거함으로써 모델의 단순성을 유지하는 것.
• 사전 훈련된 RNNLM에서의 지식 정련이 레이블 스무딩 및 유니그램 스무딩과 같은 전통적 정규화 기법보다 우수한 성능을 낼 수 있음을 보여주는 것.
• LST가 얕은 융합과 효과적으로 조합되어 인식 정확도를 추가로 향상시킬 수 있음을 보여주는 것.

제안 방법

• 사전 훈련된 RNN 언어 모델을 '선생'으로 사용하여 훈련 타겟 문장을 위한 소프트 레이블을 생성한다.
• SEQ2SEQ 모델(학생)은 이러한 소프트 레이블을 사용하여 크로스 엔트로피 손실을 최소화하도록 훈련되며, 이는 외부 텍스트에서 유도된 풍부한 언어적 사전 지식을 포함한다.
• 정련 과정은 모델 아키텍처를 수정하거나 추론 시 새로운 파라미터를 도입하지 않는다.
• 선생의 소프트맥스 출력에 온도 스케일링 기법을 적용하여 더 매끄럽고 정보량이 풍부한 소프트 레이블을 생성한다.
• 이 방법은 얕은 융합과 호환되어 디코딩 중 외부 언어 모델과 함께 사용할 수 있다.
• 온도 및 혼합 가중치와 같은 하이퍼파라미터는 성능 최적화를 위해 개발 세트에서 튜닝된다.

실험 결과

연구 질문

• RQ1 외부 언어 모델에서 일련의 시퀀스-투-시퀀스 ASR 모델로 언어 지식을 전달하는 데 있어, 모델 아키텍처를 수정하지 않고도 지식 정련이 효과적으로 작용할 수 있는가?
• RQ2 사전 훈련된 RNNLM에서 생성한 소프트 레이블을 지도로 사용할 경우, 표준 훈련 및 정규화 기법 대비 문자 오류율(CER)이 향상되는가?
• RQ3 제안된 LST 방법은 얕은 융합과 조합되어 ASR 성능을 추가로 향상시킬 수 있는가?
• RQ4 CER 감소 측면에서 LST는 레이블 스무딩 및 유니그램 스무딩과 비교해 어떻게 성능을 내는가?
• RQ5 정련 과정이 일반화 능력을 향상시킨다는 점을 보여주는 훈련 및 검증 손실의 변화 경향은 어떠한가?

주요 결과

• 제안된 LST 방법은 기존 SEQ2SEQ 모델 대비 문자 오류율(CER)을 18.42% 상대적으로 감소시키며, AISHELL-1 데이터셋에서 9.3%의 CER을 달성한다.
• LST는 얕은 융합 없이도 레이블 스무딩(4.4% 상대적 CER 감소)과 스무딩된 유니그램 스무딩(10.0% CER)을 모두 능가한다.
• 얕은 융합과 조합할 경우, LST 기반 모델은 테스트 세트에서 최고 성능인 8.3% CER을 기록한다.
• LST 모델의 훈련 손실은 검증 손실보다 높으며, 이는 일반화 능력을 향상시키는 정규화 효과를 나타낸다.
• 손실 곡선을 분석한 결과, LST 모델의 검증 손실은 기준 SEQ2SEQ 모델보다 略적으로 낮아 일반화 능력 향상이 확인된다.
• 소프트 레이블 생성에 최적의 온도는 5.0으로, 얕은 융합의 최적 혼합 가중치는 0.9로, 모두 개발 세트에서의 하이퍼파라미터 튜닝을 통해 도출되었다.