[논문 리뷰] Improved training for online end-to-end speech recognition systems

Suyoun Kim, Michael L. Seltzer외 2명|arXiv (Cornell University)|2017. 11. 06.

Speech Recognition and Synthesis참고 문헌 25인용 수 9

한 줄 요약

이 논문은 어휘 사전이나 연결된 트라이포네 시스템에 의존하지 않고, 온라인 엔드 투 엔드 음성 인식 모델을 초기화하기 위한 테이처-스터디 디스틸레이션 방법을 제안한다. 큰 사전 훈련된 오프라인 BLSTM 모델에서 단방향 LSTM 모델로 KL 발산 최소화를 통한 지식 전이를 통해 성능을 향상시키고, 쿠리큘럼 학습과 레이블 스무딩을 결합함으로써 상대적 WER를 19% 감소시켰으며, 이는 연결된 트라이포네로 초기화된 모델과의 성능 격차를 거의 해소하는 데 성공했다.

ABSTRACT

Achieving high accuracy with end-to-end speech recognizers requires careful parameter initialization prior to training. Otherwise, the networks may fail to find a good local optimum. This is particularly true for online networks, such as unidirectional LSTMs. Currently, the best strategy to train such systems is to bootstrap the training from a tied-triphone system. However, this is time consuming, and more importantly, is impossible for languages without a high-quality pronunciation lexicon. In this work, we propose an initialization strategy that uses teacher-student learning to transfer knowledge from a large, well-trained, offline end-to-end speech recognition model to an online end-to-end model, eliminating the need for a lexicon or any other linguistic resources. We also explore curriculum learning and label smoothing and show how they can be combined with the proposed teacher-student learning for further improvements. We evaluate our methods on a Microsoft Cortana personal assistant task and show that the proposed method results in a 19 % relative improvement in word error rate compared to a randomly-initialized baseline system.

연구 동기 및 목표

• 랜덤 초기화에서 시작하는 온라인 엔드 투 엔드 음성 인식 모델의 낮은 성능 문제를 해결한다.
• 모델 초기화에 어휘 사전, 연결된 트라이포네 시스템 또는 기타 전통적인 음성 인식 구성 요소에 의존하지 않도록 한다.
• 음성 인식 성능을 유지하면서 훈련 파이프라인을 단순화하는 완전한 엔드 투 엔드 훈련 전략을 개발한다.
• 오프라인 모델에서의 지식 디스틸레이션이 낮은 자원 언어 환경에서도 온라인 모델을 효과적으로 부트스트랩할 수 있음을 입증한다.

제안 방법

• 출력 분포 간 KL 발산을 최소화하여 사전 훈련된 오프라인 BLSTM 모델의 레이블 분포를 온라인 단방향 LSTM 모델로 지식 전이한다.
• 초기 학습 단계에서 짧은 발화를 사용하여 안정적인 초기 학습과 수렴을 향상시키기 위해 쿠리큘럼 학습을 적용한다.
• 레이블 스무딩을 통해 균일 분포 정규화를 구현하여 출력 확률의 과도한 확신을 방지한다.
• 테이처-스터디 디스틸레이션을 레이블 스무딩 및 쿠리큘럼 학습과 융합하여 모델의 일반화 능력과 강건성을 향상시킨다.
• 음성 어휘나 언어학적 애너테이션에 의존하지 않고, 디스틸된 지식과 정규화된 출력을 사용하여 CTC 손실을 통해 온라인 모델을 훈련시킨다.
• 이중 단계 훈련 프로세스를 사용한다: 먼저 지식 디스틸레이션을 통해 학생 모델을 사전 훈련하고, 이후 CTC와 레이블 스무딩을 통해 미세 조정한다.

실험 결과

연구 질문

• RQ1 어휘 자원이 없는 조건에서 오프라인 대규모 BLSTM 모델로부터의 지식 디스틸레이션이 온라인 단방향 LSTM 모델의 초기화에 효과적으로 기여할 수 있는가?
• RQ2 테이처-스터디 학습을 쿠리큘럼 학습 및 레이블 스무딩과 융합했을 때 온라인 엔드 투 엔드 모델의 단어 오류율(WER)에 어떤 영향을 미치는가?
• RQ3 연결된 트라이포네나 어휘 사전에 의존하지 않는 완전한 엔드 투 엔드 훈련 파이프라인은 전통적인 음향 모델로 초기화된 시스템의 성능에 얼마나 가까이 도달할 수 있는가?
• RQ4 레이블 스무딩은 특히 디스틸레이션과 융합되었을 때 온라인 엔드 투 엔드 모델의 일반화 능력을 향상시키는가?
• RQ5 짧은 발화에 초점을 맞춘 쿠리큘럼 학습은 온라인 ASR에서 훈련의 안정성과 최종 모델 정확도를 향상시키는가?

주요 결과

• 제안된 방법은 랜덤 초기화된 온라인 LSTM 모델 대비 19%의 상대적 WER 감소를 달성하여, Microsoft Cortana 작업에서 33.2%의 WER를 기록했다.
• 테이처-스터디 디스틸레이션만으로도 상대적 WER가 12.2% 향상되었고, 레이블 스무딩은 13.7%, 쿠리큘럼 학습은 7.8%의 기여를 하였다.
• 모든 세 가지 기법—디스틸레이션, 레이블 스무딩, 쿠리큘럼 학습—을 융합한 결과 최고의 성능을 기록하였으며, 연결된 트라이포네로 초기화된 모델과의 WER 격차를 절대치 기준 10.2%에서 단지 2.4%로 줄였다.
• 테이처-스터디 디스틸레이션과 레이블 스무딩을 적용한 모델은 무작위 초기화 기반 모델에 비해 정확한 문자 예측에 대해 일관되게 더 높은 신뢰도를 보였다.
• 오히려 오프라인 BLSTM 모델 역시 레이블 스무딩으로부터 이점을 얻어 25.5%의 WER를 달성하였으며, 이는 다양한 아키텍처에 걸쳐 정규화 기법의 효과를 입증한다.
• 이 방법은 어휘 사전이나 연결된 트라이포네 시스템의 필요성을 완전히 제거하여, 이러한 자원이 확보되지 않은 낮은 자원 언어 환경에도 적용 가능하다.