[논문 리뷰] Exploring Neural Transducers for End-to-End Speech Recognition

Eric Battenberg, Jitong Chen외 9명|ArXiv.org|2017. 07. 24.

Speech Recognition and Synthesis참고 문헌 21인용 수 72

한 줄 요약

요약: 이 논문은 CTC, RNN-Transducer, 및 주의(attention) 기반 Seq2Seq 모델을 엔드-투-엔드 ASR에서 실험적으로 비교하고, Hub5’00에서 외부 언어 모델 없이도 RNN-Transducer와 주의 기반 모델이 CTC를 능가할 수 있음을 보여주며, 인코더 아키텍처의 영향과 디코딩의 단순화에 대해 논의한다.

ABSTRACT

In this work, we perform an empirical comparison among the CTC, RNN-Transducer, and attention-based Seq2Seq models for end-to-end speech recognition. We show that, without any language model, Seq2Seq and RNN-Transducer models both outperform the best reported CTC models with a language model, on the popular Hub5'00 benchmark. On our internal diverse dataset, these trends continue - RNNTransducer models rescored with a language model after beam search outperform our best CTC models. These results simplify the speech recognition pipeline so that decoding can now be expressed purely as neural network operations. We also study how the choice of encoder architecture affects the performance of the three models - when all encoder layers are forward only, and when encoders downsample the input representation aggressively.

연구 동기 및 목표

• CTC, RNN-Transducer, 및 주의 기반 엔드-투-엔드 ASR 모델 간 차이를 평가한다.
• Hub5’00 및 내부 다양한 데이터셋에서 성능을 평가한다.
• 인코더 아키텍처와 모델 성능 및 스트리밍 가능성에 미치는 영향을 조사한다.
• 각 모델의 디코딩 복잡도와 외부 언어 모델 의존도를 검사한다.

제안 방법

• 세 가지 트랜스듀서 아키텍처를 CTC, RNN-Transducer, 주의 기반 Seq2Seq로 형식화한다.
• 동일 데이터 및 방법론으로 모든 모델을 학습시켜 공정한 비교를 한다.
• 외부 LM 여부에 따른 디코딩을 분석한다.
• 전방향만의 인코더 대 양방향 인코더, 시간다운샘플링(풀링) 변화 등 인코더 구성 실험을 수행한다.
• 정렬을 시각화하고 단조(attention) 대 비단조 비율(attention) 스킴을 비교한다.

실험 결과

연구 질문

• RQ1 Hub5’00에서 외부 LM 없이 CTC, RNN-Transducer, 주의 모델이 엔드-투-엔드 ASR 성능에서 어떻게 비교되는가?
• RQ2 외부 언어 모델이 아키텍처 전반에 걸쳐 유사한 이득을 제공하는가, 아니면 데이터에서 더 강한 암시적 언어 모델을 학습하는 모델이 있는가?
• RQ3 인코더 아키텍처(전방향만 vs 양방향, 시간다운샘플링)가 모델 간 성능 및 스트리밍 디코딩의 가능성에 어떤 영향을 미치는가?
• RQ4 각 변환 모델이 학습한 입력-출력 정렬의 질적 차이는 무엇인가?

주요 결과

• 외부 LM 없이도 주의(attention) 및 RNN-Transducer 모델은 Hub5’00에서 CTC를 능가하고 가장 우수한 LM 기반 결과와 경쟁한다.
• RNN-Transducers는 디코딩이 가장 간단하고 하이퍼파라미터가 적으며, 빔 검색 및 LM 리스코어링 후 다양한 데이터에서 CTC+LM의 성능에 근접하거나 이를 상회할 수 있다.
• 주요 모델은 데이터에서 암시적 언어 모델링을 학습하여 디코딩 시 대형 외부 LM에 대한 의존도를 줄인다.
• 전방향 인코더 구성은 CTC와 RNN-Transducer를 스트리밍에 더 적합하게 만들고, 전체 시퀀스를 처리하는 비스트리밍 중심의 주의 모델은 이점이 있다.
• 인코더 다운샘플링(시간 팩터링)은 계산을 줄이며, CTC는 적당한 다운샘플링에서 이점을 보이고, 주의 모델은 더 공격적인 풀링을 견딘다.
• Hub5’00에서 단일 모델, LM 미사용(WER)은 CTC 9.0/17.7, RNN-Transducer 8.1/?, Attention 8.6/17.8로 보고되었으며, 비교를 위한 빔 검색 변형 및 LM 리스로어링이 제공된다.