[논문 리뷰] Exploring Architectures, Data and Units For Streaming End-to-End Speech Recognition with RNN-Transducer

Kanishka Rao, Haşim Sak외 1명|arXiv (Cornell University)|2018. 01. 02.

Speech Recognition and Synthesis참고 문헌 15인용 수 10

한 줄 요약

이 논문은 RNN-Transducer (RNN-T) 아키텍처를 사용한 스트리밍 엔드 투 엔드 음성 인식을 탐구하며, 인코더를 CTC로, 디코더를 텍스트 전용 언어 모델로 사전 훈련하는 것이 성능을 크게 향상시킨다는 것을 보여준다. 출력 단위로 30,000개의 워드피스를 사용함으로써 음성 검색에서는 WER가 8.5%로, 음성 입력에서는 5.2%로 감소하여 단일 통합 신경망으로서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We investigate training end-to-end speech recognition models with the recurrent neural network transducer (RNN-T): a streaming, all-neural, sequence-to-sequence architecture which jointly learns acoustic and language model components from transcribed acoustic data. We explore various model architectures and demonstrate how the model can be improved further if additional text or pronunciation data are available. The model consists of an `encoder', which is initialized from a connectionist temporal classification-based (CTC) acoustic model, and a `decoder' which is partially initialized from a recurrent neural network language model trained on text data alone. The entire neural network is trained with the RNN-T loss and directly outputs the recognized transcript as a sequence of graphemes, thus performing end-to-end speech recognition. We find that performance can be improved further through the use of sub-word units (`wordpieces') which capture longer context and significantly reduce substitution errors. The best RNN-T system, a twelve-layer LSTM encoder with a two-layer LSTM decoder trained with 30,000 wordpieces as output targets achieves a word error rate of 8.5\% on voice-search and 5.2\% on voice-dictation tasks and is comparable to a state-of-the-art baseline at 8.3\% on voice-search and 5.4\% voice-dictation.

연구 동기 및 목표

• RNN-Transducer (RNN-T) 아키텍처를 사용한 스트리밍 엔드 투 엔드 음성 인식(ASR) 성능 향상을 위한 목표.
• 모델 아키텍처의 깊이, 사전 훈련 전략, 출력 단위가 WER에 미치는 영향을 조사하는 것.
• 엔드 투 엔드 모델 내 언어 모델링 능력을 향상시키기 위해 외부 텍스트 및 발음 데이터를 통합하는 효과를 평가하는 것.
• 그래프음소 대비 워드피스와 같은 서브워드 단위가 교체 오류를 줄이고 정확도를 향상시키는 데 어떤가를 평가하는 것.

제안 방법

• RNN-T 모델은 12층의 LSTM 인코더를 사용하며, 음소, 그래프음소, 워드피스 타겟을 서로 다른 깊이에서 사용하는 계층적 CTC 사전 훈련으로 초기화된다.
• 디코더는 텍스트 전용 데이터로 사전 훈련된 별도의 언어 모델로 초기화된 2층의 LSTM이며, 출력 단위로 워드피스를 사용한다.
• 전체 RNN-T는 RNN-T 손실을 통해 원시 음성에서 직접 번역을 예측하도록 공동으로 훈련된다.
• 워드피스 단위는 BPE(바이트-페어 인코딩)를 사용하여 1k, 10k, 30k의 어휘 크기를 갖도록 생성되어 더 긴 맥락을 포착하고 OOV(Out-of-Vocabulary) 문제를 줄인다.
• 10번째 인코더 레이어 이후에 시간 컨볼루션 레이어를 적용하여 시퀀스 길이를 3배로 줄여 추론 속도를 향상시키며, WER에 영향을 주지 않는다.
• 발음 데이터는 계층적 CTC 사전 훈련을 통해 통합되며, 중간 레이어에서 음소 타겟을 사용하여 발음 모델링을 향상시킨다.

실험 결과

연구 질문

• RQ1 CTC로 사전 훈련한 인코더가 스트리밍 엔드 투 엔드 ASR에서 RNN-T 성능에 어떤 영향을 미치는가?
• RQ2 텍스트 전용 언어 모델과 발음 데이터를 통합함으로써 엔드 투 엔드 ASR 시스템의 언어 모델링 능력이 어느 정도 향상되는가?
• RQ3 그래프음소 대비 워드피스와 같은 서브워드 단위가 특히 교체 오류를 줄이고 WER를 낮추는 데 어떤가?
• RQ4 스트리밍 RNN-T ASR에서 최고 성능을 달성하기 위한 최적의 아키텍처 깊이와 출력 단위 크기(예: 1k, 10k, 30k 워드피스)는 무엇인가?

주요 결과

• 계층적 CTC로 사전 훈련한 12층 LSTM 인코더는 5층 인코더 대비 WER을 5% 상대적으로 감소시키며, 더 깊은 아키텍처로 추가로 10% 상대적 향상이 이루어진다.
• 디코더 LSTM을 텍스트 전용 데이터로 사전 훈련하여 언어 모델로 사용함으로써 WER이 5% 상대적으로 감소하며, 음성 검색에서는 0.6% 절대적 향상, 음성 입력에서는 0.4% 절대적 향상이 이루어진다.
• 30,000개의 워드피스를 출력 단위로 사용함으로써 음성 검색에서는 WER이 8.5%로, 음성 입력에서는 5.2%로 감소하여 강력한 전통적 기준 모델(각각 8.3% 및 5.4%)의 성능을 재현한다.
• 워드피스로 교체 오류가 1.5%포인트 감소하였으며, 그래프음소 대비 2.3% 절대적 WER 향상이 이루어졌으며, 주로 더 나은 언어 맥락 모델링 덕분이다.
• 발음 데이터 사전 훈련으로 음성 검색 WER이 5% 상대적으로 향상되었으며(0.6% 절대적), 'barbara stanwick' → 'barbara stanwyck' 및 'sequoia casino' → 'sycuan casino' 등의 오류를 수정한다.
• 텍스트 데이터 사전 훈련은 'soldier boy' → 'soulja boy' 및 'lorenzo llamas' → 'lorenzo lamas' 등의 오류를 수정하여 맥락 내 언어 모델링 능력 향상을 입증한다.