[논문 리뷰] Attention-based Transducer for Online Speech Recognition

Bin Wang, Yan Yin외 1명|arXiv (Cornell University)|2020. 05. 18.

Speech Recognition and Synthesis참고 문헌 30인용 수 6

한 줄 요약

이 논문은 RNN-T를 온라인 음성 인식에 더 잘 맞추기 위해 연합 네트워크에서 블록 단위의 어텐션과 인코더에서의 자체 어テン션을 도입함으로써 주목사용 기반 트랜스듀서를 제안한다. 이로 인해 500시간 데이터에서 기준 RNN-T 대비 1.7배 빠른 학습 속도와 10.6% 상대적 WER 감소를 달성하였으며, 10,000시간 데이터에서 Kaldi의 TDNN-f 시스템 대비 5.5% 상대적 WER 향상을 이룩하였다.

ABSTRACT

Recent studies reveal the potential of recurrent neural network transducer (RNN-T) for end-to-end (E2E) speech recognition. Among some most popular E2E systems including RNN-T, Attention Encoder-Decoder (AED), and Connectionist Temporal Classification (CTC), RNN-T has some clear advantages given that it supports streaming recognition and does not have frame-independency assumption. Although significant progresses have been made for RNN-T research, it is still facing performance challenges in terms of training speed and accuracy. We propose attention-based transducer with modification over RNN-T in two aspects. First, we introduce chunk-wise attention in the joint network. Second, self-attention is introduced in the encoder. Our proposed model outperforms RNN-T for both training speed and accuracy. For training, we achieves over 1.7x speedup. With 500 hours LAIX non-native English training data, attention-based transducer yields ~10.6% WER reduction over baseline RNN-T. Trained with full set of over 10K hours data, our final system achieves ~5.5% WER reduction over that trained with the best Kaldi TDNN-f recipe. After 8-bit weight quantization without WER degradation, RTF and latency drop to 0.34~0.36 and 268~409 milliseconds respectively on a single CPU core of a production server.

연구 동기 및 목표

• 긴 입력 시퀀스와 짧은 출력 시퀀스로 인해 빈도 기호가 지배하는 RNN-T 학습에서의 레이블 불균형 문제를 해결한다.
• 전방-후향 알고리즘의 높은 메모리 및 계산 비용으로 인해 AED 및 CTC보다 느린 RNN-T의 학습 속도 향상을 도모한다.
• 연합 네트워크에서 블록 단위 어텐션을 통해 정렬 격자 크기를 줄여 RNN-T의 지연 시간과 메모리 사용량을 감소시킨다.
• 자기 어텐션을 통해 인코더의 문맥 모델링을 향상시켜 스트리밍 능력을 유지하면서도 인식 정확도를 향상시킨다.
• 대규모 L2 영어 음성 데이터에서 최신 기술 수준의 성능을 달성하면서도 생산 환경에 적합한 낮은 지연 시간을 유지한다.

제안 방법

• 예측 네트워크가 전체 시퀀스가 아닌 고정 크기의 인코더 출력 블록에 주목하도록 연합 네트워크에 블록 단위 어텐션을 도입하여 격자 크기와 계산 비용을 감소시킨다.
• 장거리 의존성을 모델링하고 문맥 표현을 향상시켜 인식 정확도를 높이기 위해 인코더에 자체 어텐션을 적용한다.
• 출력 단위와 빈도 기호 간의 레이블 불균형을 완화하기 위해 인코더에서 서브샘플링을 사용한다.
• 블록 단위 어텐션로 인해 감소된 격자 크기를 활용해 큰 미니배치로 모델을 학습시켜 더 빠른 수렴을 이룬다.
• 전체 주목사용 기반 트랜스듀서를 미세조정하기 전에 초기 표현 학습을 향상시키기 위해 인코더를 LAS 모델로 사전학습시킨다.
• TFLite를 통해 8비트 가중치 정량화를 적용하여 모델 크기를 줄이고 추론 속도를 높여 단일 CPU 코어에서 낮은 지연 시간을 달성한다.

실험 결과

연구 질문

• RQ1 연합 네트워크에서 블록 단위 어텐션을 통해 정렬 격자 크기를 줄일 수 있으며, 이로 인해 RNN-T의 학습 효율성이 향상될 수 있는가?
• RQ2 인코더에 자체 어텐션을 도입함으로써 RNN-T의 지연 시간을 증가시키지 않고도 인식 정확도를 향상시킬 수 있는가?
• RQ3 블록 단위 어텐션과 서브샘플링이 RNN-T에서 출력 단위와 빈도 기호 간의 레이블 불균형 문제를 어느 정도 완화할 수 있는가?
• RQ4 제안된 주목사용 기반 트랜스듀서는 기존 RNN-T 및 Kaldi의 TDNN-f 시스템보다 대규모 L2 영어 음성 데이터에서 더 낮은 WER을 달성할 수 있는가?
• RQ5 스트리밍 추론에서 다양한 문맥 길이와 블록 너비를 사용할 경우 지연 시간, RTF, WER 간의 상호 상충 관계는 어떻게 나타나는가?

주요 결과

• 블록 단위 어텐션 덕분에 격자 크기가 감소하고 더 큰 미니배치 사용이 가능해져 주목사용 기반 트랜스듀서는 기준 RNN-T 대비 1.7배 이상 빠른 학습 속도를 달성하였다.
• 500시간의 LAIX L2 영어 데이터에서, 모델은 기준 RNN-T 대비 10.6% 상대적 WER 감소와 LAS 대비 14.4% 상대적 WER 감소를 기록하였다.
• 10,000시간 이상의 학습 데이터를 사용한 최종 시스템은 Kaldi의 TDNN-f 시스템 대비 5.5% 상대적 WER 감소를 달성하였으며, 이는 3-그램 언어모델을 사용하는 하이브리드 접근 방식을 적용한 시스템이다.
• 8비트 가중치 정량화 이후, 모델은 WER 성능을 유지하면서도 단일 CPU 코어에서 RTF 0.34–0.36, 지연 시간 268–409 ms를 달성하였다.
• 작은 문맥 길이(τ=2)를 사용할 경우 지연 시간이 300ms로 감소하여 실시간 배포에 적합한 낮은 지연 시간 추론을 실현하였다.
• 기준 RNN-T 대비 삭제 오류가 약 30% 감소하여, 블록 단위 어텐션을 통해 레이블 불균형 문제를 효과적으로 개선함을 시사한다.