[논문 리뷰] Distilling Knowledge from Ensembles of Acoustic Models for Joint CTC-Attention End-to-End Speech Recognition

Yan Gao, Titouan Parcollet외 1명|arXiv (Cornell University)|2020. 05. 19.

Speech Recognition and Synthesis참고 문헌 31인용 수 5

한 줄 요약

이 논문은 공동 CTC-attention 엔드 투 엔드 ASR 시스템을 위한 세 가지 새로운 오차율(Error Rate, ER)-기반 distillation 전략을 제안한다. 이 전략들은 손실 값만을 기준으로 하지 않고, 번역 품질을 기준으로 교사 모델을 우선순위화함으로써 앙상블된 음성 모델을 활용해 학생 모델의 성능을 향상시킨다. 제안된 방법들은 TIMIT에서 13.11%, Common Voice 이탈리아어에서 15.57%, Common Voice 프랑스어에서 17.04%의 최신 기술(WER)을 달성하여 개별 교사 모델과 표준 distillation 기반선을 모두 능가한다.

ABSTRACT

Knowledge distillation has been widely used to compress existing deep learning models while preserving the performance on a wide range of applications. In the specific context of Automatic Speech Recognition (ASR), distillation from ensembles of acoustic models has recently shown promising results in increasing recognition performance. In this paper, we propose an extension of multi-teacher distillation methods to joint CTC-attention end-to-end ASR systems. We also introduce three novel distillation strategies. The core intuition behind them is to integrate the error rate metric to the teacher selection rather than solely focusing on the observed losses. In this way, we directly distill and optimize the student toward the relevant metric for speech recognition. We evaluate these strategies under a selection of training procedures on different datasets (TIMIT, Librispeech, Common Voice) and various languages (English, French, Italian). In particular, state-of-the-art error rates are reported on the Common Voice French, Italian and TIMIT datasets.

연구 동기 및 목표

• 지식 distillation을 통해 사전 학습된 음성 모델 앙상블을 활용하여 엔드 투 엔드 ASR 성능을 향상시키는 것.
• 표준 distillation이 손실 값만을 기준으로 교사 모델을 선택하는 데서 비롯되는 한계를 해결하여, 성능이 열 劣한 교사 모델이 선정되는 것을 방지하는 것.
• 손실 최소화가 아니라 번역 품질(측정 기준: WER)을 직접적으로 최적화하여 학생 모델을 향상시키는 것.
• 시퀀스 수준의 오차율에 기반해 동적으로 가중치를 할당하거나 교사 모델을 선택하는 새로운 distillation 전략을 탐색하고 검증하는 것.
• 이미 학습된 모델을 ER 기반 distillation을 통해 재사용함으로써 계산 자원 낭비를 최소화하고 성능 향상을 이끄는 것.

제안 방법

• 공동 CTC-attention ASR 시스템을 위한 다중 교사 모델 distillation 프레임워크를 제안하며, 소프트 타겟은 다수의 교사 모델에서 유도된다.
• ‘Weighted’ 전략을 도입하여, 미니배치 동안의 평균 WER에 기반해 교사 모델에 동적으로 학습 가중치를 할당한다.
• ‘Top-1’ 전략을 도입하여, 문장 수준의 WER 기준으로 각 미니배치에서 가장 성능이 우수한 단일 교사 모델만을 선택한다.
• ‘Top-k’ 전략을 도입하여, 유사한 WER를 보이는 상위 성능 교사 모델 집합으로부터 학습함으로써 레이블 다양성을 증가시킨다.
• 학생 모델의 손실을 최소화하기 위해, 학생의 예측과 선택된 교사 모델의 소프트 타겟 간의 교차 엔트로피를 최소화한다.
• 공동 CTC-attention 학습 목표를 사용하며, 학생 모델이 디스틸레이션된 타겟을 기반으로 CTC 및 어텐션 기반 교차 엔트로피 손실을 모두 최소화하도록 훈련시킨다.

Fig. 1 : Illustration of the error rate multi-teacher distillation strategies connected to a Joint CTC-Attention E2E ASR system.

실험 결과

연구 질문

• RQ1 음성 모델 앙상블에서 지식 distillation을 통해 개별 교사 모델이 달성하는 것보다 더 낮은 WER를 공동 CTC-attention 엔드 투 엔드 ASR 시스템에서 달성할 수 있는가?
• RQ2 손실 값이 아닌 오차율(WER)을 기준으로 교사 모델을 선택할 경우, 학생 모델의 일반화 능력 향상과 더 낮은 WER 달성에 기여하는가?
• RQ3 ‘Weighted’, ‘Top-1’, ‘Top-k’ 전략과 같은 다양한 교사 선택 전략이 다양한 데이터셋에서 최종 WER와 훈련 안정성에 어떤 영향을 미치는가?
• RQ4 ER 기반 distillation을 통해 기존에 학습된 모델을 재사용하면 재학습 없이도 계산 자원 낭비를 줄이고 성능 향상을 이끌 수 있는가?
• RQ5 특히 전사 오류 측면에서 교사 출력의 다양성이 학생 모델의 강건성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 ER 기반 distillation 전략은 표준 distillation 기반선을 크게 능가하며, 네 개의 데이터셋 평균으로 최고의 개별 교사 모델 대비 WER을 0.74% 감소시켰다.
• Common Voice 프랑스어 데이터셋에서 17.04%의 최신 기술(WER)을 달성하여 이전 결과를 초월했다.
• Common Voice 이탈리아어 데이터셋에서 15.57%의 최신 기술(WER)을 달성하여 다양한 언어에 대한 강력한 일반화 능력을 입증했다.
• TIMIT에서 13.11%의 최신 기술(WER)을 달성하여 표준 벤치마크에서의 효과성을 확인했다.
• ‘Top-k’ 및 ‘Weighted’ 전략은 Librispeech에서 1.04%의 WER 차이를 보이며 거의 동일한 성능을 달성하여, ER이 distillation 품질의 유의미한 대체 지표임을 검증했다.
• ‘Average’ 기반선(모든 교사 모델에 동일한 가중치를 할당)은 항상 열 劣한 성능을 보이며, 성능이 열 劣한 교사 모델이 포함된 경우 단순 앙상블 평균화가 효과가 없음을 입증했다.

Fig. 2 : Output tokens ( i.e. BPE) obtained on a French recording with the best (top) and worst (bottom) teachers. The given sentence contains $5$ occurences of $3$ different homophones (i.e. “vers” , “verre” , “vert” ). While the worst teacher is grammatically wrong for $3$ out of $5$ , produced to