[논문 리뷰] Listen and Fill in the Missing Letters: Non-Autoregressive Transformer for Speech Recognition

Nanxin Chen, Shinji Watanabe외 2명|arXiv (Cornell University)|2019. 11. 10.

Speech Recognition and Synthesis참고 문헌 23인용 수 53

한 줄 요약

본 논문은 ASR를 위한 두 가지 비자 autoregressive transformer 프레임워크(A-CMLM 및 A-FMLM)를 제안하여 병렬 디코딩을 가능하게 하고 만다린어와 일본어 벤치마크에서 자동회귀 트랜스포머의 성능과 일치하면서 실시간 속도는 최대 7배 향상시킨다.

ABSTRACT

Recently very deep transformers have outperformed conventional bi-directional long short-term memory networks by a large margin in speech recognition. However, to put it into production usage, inference computation cost is still a serious concern in real scenarios. In this paper, we study two different non-autoregressive transformer structure for automatic speech recognition (ASR): A-CMLM and A-FMLM. During training, for both frameworks, input tokens fed to the decoder are randomly replaced by special mask tokens. The network is required to predict the tokens corresponding to those mask tokens by taking both unmasked context and input speech into consideration. During inference, we start from all mask tokens and the network iteratively predicts missing tokens based on partial results. We show that this framework can support different decoding strategies, including traditional left-to-right. A new decoding strategy is proposed as an example, which starts from the easiest predictions to the most difficult ones. Results on Mandarin (Aishell) and Japanese (CSJ) ASR benchmarks show the possibility to train such a non-autoregressive network for ASR. Especially in Aishell, the proposed method outperformed the Kaldi ASR system and it matches the performance of the state-of-the-art autoregressive transformer with 7x speedup. Pretrained models and code will be made available after publication.

연구 동기 및 목표

• 트랜스포머 기반 ASR에서 정확도를 해치지 않으면서 디코딩 지연시간을 줄이는 동기를 부여한다.
• 오디오 입력에 마스크된 언어 모델링 아이디어를 적용하여 비자 auto회귀 디코딩을 가능하게 한다.
• 훈련/추론 간 차이를 연결하기 위한 훈련 및 디코딩 전략(A-CMLM, A-FMLM, ease first, mask-predict)을 탐구한다.
• Mandarin(AIShell) 및 Japanese(CSJ)에서 성능과 속도 향상을 평가한다.

제안 방법

• 두 가지 비자 autoregressive transformer 프레임워크를 도입한다: Audio-Conditional Masked Language Model(A-CMLM)과 Audio-Factorized Masked Language Model(A-FMLM).
• 해석기(디코더) 이력을 마스킹된 토큰으로 대체하고 입력 음성과 문맥을 사용하여 마스킹된 위치를 예측한다.
• A-CMLM에서는 비마스킹 토큰과 음향 특징을 주어진 상태에서 조건부의 곱으로 모든 마스킹 토큰을 병렬로 예측한다(독립성 가정).
• A-FMLM에서는 학습-추론 불일치를 완화하기 위해 진행적 디코딩 단계(Z_t 세트)와 반복(iterations) 간의 팩토라이즈된 목표를 사용한다.
• 디코딩 전략을 제안한다: 쉬운 순서(Easy first)와 마스크-예측(Mask-predict)으로 구성되며, Variant 형태와 반복 기반 정제(refinement)를 포함한다.
• EOS를 통한 길이 처리 및 학습 중 N=2의 반복 횟수를 포함한 실용적인 훈련/디코딩 세부 정보를 보고한다.
• 벤치마크 설정은 ESPnet, Transformer 기반 베이스라인을 사용하고 가능하면 Kaldi 시스템과 비교한다.

실험 결과

연구 질문

• RQ1 비 autoregressive Transformer을 오디오 입력에 조건화하여 마스크된 예측을 학습시켜 ASR에 효과적으로 적용할 수 있는가?
• RQ2 A-CMLM 및 A-FMLM이 자동회귀 트랜스포머에 비해 경쟁력 있는 정확도와 상당한 디코딩 속도향상을 제공하는가?
• RQ3 Mandarin 및 Japanese ASR에서 어떤 디코딩 전략(Easy first, Mask-predict)이 정확도와 속도의 균형을 가장 잘 이루는가?
• RQ4 비자동회귀 ASR은 발화 길이에 따라 어떻게 확장되며 긴 시퀀스에 대한 완화책은 무엇이 있는가?

주요 결과

• A-FMLM은 AIShell에서 최대 7x 실시간 속도 향상을 달성하면서 자동회귀 베이스라인과의 성능을 유지한다.
• AIShell에서 A-CMLM은 몇 차례 반복 이후에야 제한적 이득을 제공하는 반면, A-FMLM의 단일 반복 설정은 이미 강한 성능을 보여준다.
• AIShell에서 여러 비자 autoregressive 변형이 CER에서 자동회귀 트랜스포머에 거의 근접한 성능과 상당한 속도 향상을 달성한다.
• CSJ에서 A-FMLM은 여러 구성에서 A-CMLM 및 자동회귀 베이스라인을 능가하며 주목할 만한 CER 감소와 속도 향상을 달성한다.
• 긴 발화에서 비자동회귀 모델은 삭제 및 치환 오류가 더 많이 나타나며 삽입 기반 접근의 한계와 기회를 시사한다.
• 비자동회귀 디코딩은 Left-to-Right, Easy First, Mask-Predict 등 다양한 전략을 지원하여 유연한 추론이 가능하다.