[논문 리뷰] FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization

Jiahui Yu, Chung‐Cheng Chiu외 9명|arXiv (Cornell University)|2020. 10. 21.

Speech Recognition and Synthesis참고 문헌 26인용 수 6

한 줄 요약

FastEmit는 단일 시퀀스 수준의 방출 정규화 방법으로, 단어 정렬 자료가 필요 없고 추가 학습 또는 추론 비용 없이도 지연을 줄이기 위해 전달자 전방-후방 확률을 직접 최적화한다. LibriSpeech에서 150–300ms의 지연 감소를 달성하며, WER을 4.4%/8.9%에서 3.1%/7.5%로 향상시킨다. 하이퍼파라미터 조정도 최소 수준이며, 추가적인 학습 또는 추론 비용이 발생하지 않는다.

ABSTRACT

Streaming automatic speech recognition (ASR) aims to emit each hypothesized word as quickly and accurately as possible. However, emitting fast without degrading quality, as measured by word error rate (WER), is highly challenging. Existing approaches including Early and Late Penalties and Constrained Alignments penalize emission delay by manipulating per-token or per-frame probability prediction in sequence transducer models. While being successful in reducing delay, these approaches suffer from significant accuracy regression and also require additional word alignment information from an existing model. In this work, we propose a sequence-level emission regularization method, named FastEmit, that applies latency regularization directly on per-sequence probability in training transducer models, and does not require any alignment. We demonstrate that FastEmit is more suitable to the sequence-level optimization of transducer models for streaming ASR by applying it on various end-to-end streaming ASR networks including RNN-Transducer, Transformer-Transducer, ConvNet-Transducer and Conformer-Transducer. We achieve 150-300 ms latency reduction with significantly better accuracy over previous techniques on a Voice Search test set. FastEmit also improves streaming ASR accuracy from 4.4%/8.9% to 3.1%/7.5% WER, meanwhile reduces 90th percentile latency from 210 ms to only 30 ms on LibriSpeech.

연구 동기 및 목표

• 정확한 전달자 학습에도 불구하고 스트리밍 엔드 투 엔드 ASR 모델에서 높은 방출 지연 문제를 해결한다.
• 기존 방법인 Early/Late Penalties 및 Constrained Alignments와 같이 토큰 또는 프레임 수준의 방출 페널티로 인한 정확도 저하 문제를 해결한다.
• 전달자 최적화와 일치하는 순서 수준의 정규화 방법을 개발하여 정확도를 희생시키지 않고 지연을 줄인다.
• RNN-T, Transformer-T, ConvNet-T, Conformer-T를 포함한 다양한 스트리밍 ASR 아키텍처에 즉시 통합할 수 있도록 한다.
• 최소한의 하이퍼파라미터 조정과 학습 또는 추론 시 추가 계산 비용 없이 저지연 추론을 달성한다.

제안 방법

• 전체 시퀀스에 걸쳐 빈 토큰 방출을 억제하기 위해 전달자 전방-후방 알고리즘을 수정하는 순서 수준의 정규화 손실을 도입한다.
• 레이티스 내 비-블랭크 토큰의 음의 로그 확률에 비례하는 정규화 항을 적용하여 목표 단어의 조기 방출을 장려한다.
• 하나의 하이퍼파rameter λ를 사용해 표준 전달자 손실과 방출 정규화 손실을 균형 잡는다.
• 결합된 손실을 사용해 모델을 엔드 투 엔드로 학습하며, 정규화가 직접적으로 순서 수준의 확률 분포에 영향을 미친다.
• 외부 단어 정렬 자료나 사전 학습 모델에 의존하지 않기 때문에, 어떤 전달자 기반 모델과도 호환성을 확보한다.
• 최소한의 하이퍼파라미터 조정(단지 λ만 조정)을 통해 다양한 모델과 데이터셋에 쉽게 구현할 수 있다.

Fig. 1 : Examples of fast and slow transducer emission lattices (speech-text alignments). Transducer aims to maximize the log-probability of any lattice, regardless of its emission latency.

실험 결과

연구 질문

• RQ1 순서 수준의 방출 정규화는 정확도 저하 없이 스트리밍 ASR의 지연을 줄일 수 있는가?
• RQ2 Early/Late Penalties 및 Constrained Alignments와 같은 토큰 또는 프레임 수준의 정규화 방법과 비교해 FastEmit는 WER과 지연 측면에서 어떻게 성능을 내는가?
• RQ3 FastEmit는 RNN-T, Transformer-T, ConvNet-T, Conformer-T와 같은 다양한 스트리밍 ASR 아키텍처로 일반화되는가?
• RQ4 하이퍼파라미터 λ를 통해 지연 감소와 정확도 유지 사이의 최적 균형은 무엇인가?
• RQ5 FastEmit는 단어 수준의 정렬 자료나 추가 학습/추론 비용 없이 적용 가능한가?

주요 결과

• LibriSpeech에서 FastEmit는 테스트-클린 세트에서 WER을 4.4%에서 3.1%로 향상시키며 90번째 백분위수 지연을 210ms에서 30ms로 감소시켰다. 테스트-오더 세트에서는 WER을 8.9%에서 7.5%로 개선했다.
• 음성 검색 테스트 세트에서 FastEmit는 RNN-T, Transformer-T, Conformer-T 모델에서 150–300ms의 지연 감소를 달성했으며, CA 및 MaskFrame 기준선 대비 WER-지연 트레이드오프에서 뛰어난 성능을 보였다.
• FastEmit는 장기 전달에서의 기울기 소실 문제를 완화함으로써 LibriSpeech에서 인식 정확도를 향상시켰으며, 삭제 오류를 줄였다.
• 하이퍼파라미터 조정 결과, ContextNet의 경우 λ=0.01, Conformer의 경우 λ=0.004가 최적의 지연-정확도 균형을 이룩했으며, λ를 더 높일 경우 WER이 악화되는 경향을 보였다.
• FastEmit는 RNN-Transducer, Transformer-Transducer, ConvNet-Transducer, Conformer-Transducer를 포함한 여러 아키텍처로 효과적으로 일반화된다.
• 이 방법은 외부 정렬 자료가 필요 없으며, 학습 또는 추론 시 추가 비용이 발생하지 않아 실사용 환경에서 매우 높은 구현 가능성을 지닌다.

Fig. 2 : Illustration of FastEmit regularization. Consider any node ( e.g ., blue node), FastEmit encourages predicting label $y\in\mathcal{Y}$ ( green node) instead of predicting blank $\varnothing$ ( red node).