[논문 리뷰] Distilling the Knowledge of BERT for Sequence-to-Sequence ASR

Hayato Futami, Hirofumi Inaguma외 4명|arXiv (Cornell University)|2020. 08. 09.

Speech Recognition and Synthesis참고 문헌 34인용 수 4

한 줄 요약

이 논문은 지식 정련을 통해 BERT에서 순서 없는 문맥 지식을 시퀀스-투-시퀀스 ASR 모델로 정련함으로써, 학습 시 왼쪽 및 오른쪽 문맥—특히 문장 간 문맥까지 포함—을 활용하는 방법을 제안한다. 이 방법은 단방향 언어 모델 및 기존의 LM 통합 기법(예: n-best 재정렬 및 얕은 융합)보다 상당히 향상된 ASR 성능을 달성하며, 추가적인 추론 비용 없이 CSJ에서 9.19%의 WER를 기록한다.

ABSTRACT

Attention-based sequence-to-sequence (seq2seq) models have achieved promising results in automatic speech recognition (ASR). However, as these models decode in a left-to-right way, they do not have access to context on the right. We leverage both left and right context by applying BERT as an external language model to seq2seq ASR through knowledge distillation. In our proposed method, BERT generates soft labels to guide the training of seq2seq ASR. Furthermore, we leverage context beyond the current utterance as input to BERT. Experimental evaluations show that our method significantly improves the ASR performance from the seq2seq baseline on the Corpus of Spontaneous Japanese (CSJ). Knowledge distillation from BERT outperforms that from a transformer LM that only looks at left context. We also show the effectiveness of leveraging context beyond the current utterance. Our method outperforms other LM application approaches such as n-best rescoring and shallow fusion, while it does not require extra inference cost.

연구 동기 및 목표

• 시퀀스-투-시퀀스 ASR 모델에서의 왼쪽에서 오른쪽으로의 디코딩 제한 문제를 해결하기 위해, 학습 및 추론 시 미래(오른쪽) 문맥에 접근할 수 없음을 고려한다.
• 딥 빌리버스럴 언어 모델인 BERT에서의 문맥 지식을 지식 정련을 통해 시퀀스-투-시퀀스 ASR 모델로 이전함으로써 ASR 성능을 향상시키는 것.
• 현재 문장 외부의 문맥—예를 들어 이전 및 이후 문장—을 사용하여 BERT 기반 소프트 레이블 생성의 효과를 조사하는 것.
• 기존의 LM 통합 기법(예: n-best 재정렬 및 얕은 융합)과 비교하여 성능 및 추론 효율성 측면에서 제안된 방법의 성능을 평가하는 것.

제안 방법

• 학습 중에 BERT를 교사 모델로 사용하여 현재 문장의 왼쪽 및 오른쪽 문맥을 활용해 ASR 학생 모델의 소프트 레이블을 생성한다.
• BERT에 입력하기 전에 이전, 현재, 향후 문장을 고정된 토큰 길이까지 연결하여 현재 문장 외부의 문맥까지 확장한다.
• 지식 정련은 BERT의 출력 확률과 ASR 모델의 예측 간 소프트 레이블 교차 엔트로피 손실을 최소화함으로써 수행되며, 온도 스케일링과 정련 가중치 초모델 하이퍼파rameter가 포함된다.
• ASR 모델은 정련 손실을 통해 엔드 투 엔드로 학습되며, BERT는 고정되어 있고 오직 학습 중에 소프트 감독을 제공하는 데 사용된다.
• 추론 시 언어 모델이 필요 없기 때문에 추가적인 디코딩 비용이 발생하지 않는다.
• 온도 및 정련 가중치와 같은 하이퍼파라미터는 개발 세트에서 튜닝된다.

실험 결과

연구 질문

• RQ1 단방향 언어 모델과 비교했을 때, BERT에서의 지식 정련이 시퀀스-투-시퀀스 ASR 성능을 향상시키는가?
• RQ2 BERT의 입력에 오른쪽 문맥과 문장 간 문맥을 포함시키면, 내부 문장 내 문맥만 사용하는 것보다 더 나은 ASR 성능을 얻을 수 있는가?
• RQ3 정량적 성능 및 추론 비용 측면에서 제안된 정련 방법은 기존의 LM 통합 기법(예: n-best 재정렬 및 얕은 융합)과 비교해 어떻게 성능을 냈는가?
• RQ4 학습 데이터가 증가했을 때 BERT 정련으로부터 얻는 성능 향상이 유지되는가?

주요 결과

• BERT에서의 지식 정련으로 CSJ-APS (240h) 데이터셋에서 WER가 9.19%로 감소하여 기준 시퀀스-투-시퀀스 ASR 모델 대비 10.86% 상대적 향상이 이루어졌다.
• BERT 기반 정련은 단방향 트랜스포머 언어 모델(TrfLM(uni))에서의 정련보다 우수했으며, 이는 9.89% WER를 기록하여 이중성 문맥의 이점이 입증되었다.
• 문장 간 문맥을 사용한 경우(문맥 크기 256)는 내부 문장 내 문맥(문장)을 사용한 경우보다 성능이 향상되어 WER가 9.53%에서 9.19%로 감소했다.
• 모든 비트 폭에서 n-best 재정렬 및 얕은 융합을 포함한 기존 방법보다 성능이 뛰어났으며, 기준 모델에 적용해도 정련이 이미 언어 모델의 대부분의 이점을 포괄하고 있음을 시사했다.
• 520h의 데이터(예: CSJ-APS + CSJ-SPS)로 학습했을 때도 7.85%의 WER를 기록하여 개선된 기준 모델 대비 7.5% 상대적 향상이 이루어져 더 큰 데이터에서의 효과를 확인했다.
• 제거 실험 결과, 더 긴 문맥(256 토큰)으로 미리 학습한 BERT를 사용하고, 동일한 문맥 길이로 정련을 수행할 경우 가장 우수한 성능(9.19% WER)을 기록했다.