[논문 리뷰] Global Normalization for Streaming Speech Recognition in a Modular Framework

Ehsan Variani, Ke Wu외 4명|arXiv (Cornell University)|2022. 05. 26.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 유한한 컨텍스트 모델링을 통해 정확하고 실현 가능한 시퀀스 수준 정규화를 가능하게 함으로써 레이블 편향을 제거하는 스트리밍 음성 인식 모델인 글로벌로 정규화된 자동회귀 트랜스듀서(GNAT)를 소개한다. GNAT는 Librispeech에서 스트리밍 모델과 비스트리밍 모델 간의 단어 오류률(WER) 격차를 50% 이상 감소시켜 효율적이고 액셀러레이터 우군의 추론과 학습을 가능하게 하며, 비스트리밍 모델에 근접한 성능을 달성한다.

ABSTRACT

We introduce the Globally Normalized Autoregressive Transducer (GNAT) for addressing the label bias problem in streaming speech recognition. Our solution admits a tractable exact computation of the denominator for the sequence-level normalization. Through theoretical and empirical results, we demonstrate that by switching to a globally normalized model, the word error rate gap between streaming and non-streaming speech-recognition models can be greatly reduced (by more than 50\% on the Librispeech dataset). This model is developed in a modular framework which encompasses all the common neural speech recognition models. The modularity of this framework enables controlled comparison of modelling choices and creation of new models.

연구 동기 및 목표

• 스트리밍 모델과 비스트리밍 모델 간의 지속적인 단어 오류률(WER) 격차를 해결한다.
• 국소 정규화된 스트리밍 모델에서 내재된 레이블 편향 문제를 완화한다. 이는 예측을 국소 확률 분포로 제한하기 때문이다.
• 유한한 컨텍스트 제약 조건 하에서 정확하고 실현 가능한 시퀀스 수준 정규화 계산이 가능한 글로벌로 정규화된 ASR 모델을 개발한다.
• 기존 ASR 모델들(예: CTC, RNN-T, LAS)을 통합하고 새로운 글로벌로 정규화된 변종을 지원하는 모듈러 프레임워크를 설계한다.
• 스트리밍 환경에서 글로벌로 정규화된 모델의 효율적이고 액셀러레이터 우군의 학습과 추론을 가능하게 한다.

제안 방법

• 국소 정규화를 글로벌 시퀀스 수준 정규화로 대체하는 새로운 모델 아키텍처인 글로벌로 정규화된 자동회귀 트랜스듀서(GNAT)를 제안한다.
• 유한한 컨텍스트 가정을 도입하여 글로벌 정규화 분모를 다항식 시간 내에 계산 가능하게 하여 정확한 추론을 가능하게 한다.
• 계산의 실현 가능성을 유지하면서도 프레임 간의 종속성을 모델링하기 위해 프레임 기반의 어울림 라티스와 컨텍스트 기반 가중치 함수를 사용한다.
• 모델 구성 요소(예: 인코더, 프레디크터, 조인 네트워크)를 추상화하여 다양한 모델링 선택지를 즉시 통합할 수 있도록 하는 모듈러 프레임워크를 설계한다.
• 최대 경로 및 합 경로 변종을 포함한 효율적인 디코딩 알고리즘을 구현하며, 글로벌로 정규화된 모델에 적합한 프루닝 히우리스틱을 조정한다.
• 정렬 경로 엔트로피를 이용한 학습 목표 제약을 통해 단일 경로 확률 분포를 선호하게 하여 합 경로 디코딩에 대한 의존도를 감소시킨다.

실험 결과

연구 질문

• RQ1 글로벌 정규화가 스트리밍 모델과 비스트리밍 모델 간의 WER 격차를 크게 줄일 수 있는가?
• RQ2 유한한 컨텍스트 조건 하에서 스트리밍 환경에서 글로벌 정규화의 정확하고 실현 가능한 계산이 가능한가?
• RQ3 레이블 편향 완화 및 WER 성능 측면에서 글로벌 정규화는 국소 정규화보다 어떻게 비교되는가?
• RQ4 모듈러 프레임워크는 기존의 ASR 모델들을 통합하고 새로운 글로벌로 정규화된 변종의 체계적 탐색을 가능하게 하는가?
• RQ5 글로벌 정규화를 스트리밍 ASR에 적용할 경우 학습 및 추론 효율성에 실질적인 영향을 미치는가?

주요 결과

• GNAT는 Librispeech 테스트-클린 셋에서 스트리밍 모델과 비스트리밍 모델 간의 WER 격차를 50퍼센트 이상 감소시켰다.
• 최대 경로 디코딩을 사용하여 글로벌로 정규화된 모델은 Librispeech 테스트-클린에서 WER 3.8%를 달성했으며, 비스트리밍 기준선 대비 약 50퍼센트의 격차를 메웠다.
• 1-그램 및 2-그램 컨텍스트 종속성 조건에서 글로벌로 정규화된 스트리밍 모델은 국소로 정규화된 대안보다 테스트-클린에서 상대적으로 20~21% 향상된 WER 성능을 보였다.
• 2-그램 컨텍스트 설정에서 공유 RNN 아키텍처가 공유 임베딩 버전보다 우수한 성능을 보였으며, 이는 공유 상태 구조를 더 잘 학습했음을 시사한다.
• 합 경로 디코딩은 최대 경로보다 추가적인 WER 향상을 제공하여 최적화된 글로벌 정규화 추론을 통해 더 높은 성능 향상이 가능함을 시사한다.
• 모듈러 프레임워크는 모델링 선택지의 통제된 비교를 가능하게 하며, 새로운 글로벌로 정규화된 ASR 모델의 개발을 촉진한다.