[논문 리뷰] Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition

Ye Bai, Jiangyan Yi외 4명|arXiv (Cornell University)|2020. 05. 11.

Speech Recognition and Synthesis참고 문헌 19인용 수 5

한 줄 요약

이 논문은 주어진 음성 신호의 의미적 구조를 통해 토큰 간 관계를 암묵적으로 모델링하고, 자동회귀나 마스크된 언어 모델링을 명시적으로 사용하지 않는 비자동회귀(end-to-end) 음성 인식 모델인 LASO를 제안한다. 이 모델은 한 번의 순방향 전파로 전체 문장을 생성함으로써 저지연 추론을 달성한다. AISHELL-1에서 6.4%의 문자 오류율(CER)을 기록하며 최신 자동회귀 트랜스포머 모델(6.7% CER)을 능가하지만, 추론 지연은 단 21ms로 줄어들어 50배 빠른 성능 향상을 이룬다.

ABSTRACT

Although attention based end-to-end models have achieved promising performance in speech recognition, the multi-pass forward computation in beam-search increases inference time cost, which limits their practical applications. To address this issue, we propose a non-autoregressive end-to-end speech recognition system called LASO (listen attentively, and spell once). Because of the non-autoregressive property, LASO predicts a textual token in the sequence without the dependence on other tokens. Without beam-search, the one-pass propagation much reduces inference time cost of LASO. And because the model is based on the attention based feedforward structure, the computation can be implemented in parallel efficiently. We conduct experiments on publicly available Chinese dataset AISHELL-1. LASO achieves a character error rate of 6.4%, which outperforms the state-of-the-art autoregressive transformer model (6.7%). The average inference latency is 21 ms, which is 1/50 of the autoregressive transformer model.

연구 동기 및 목표

• 비자동회귀 기반의 종단간 음성 인식 모델이 비용이 많이 드는 비트-서치 디코딩에 의존하는 높은 추론 지연 문제를 해결하기 위해.
• 음성 신호 내에 암묵적으로 내재된 언어적 의미가 순차적 생성을 위한 명시적 자동회귀 또는 마스크된 언어 모델링을 대체할 수 있는지 탐색하기 위해.
• 정확도를 저하시키지 않은 채 병렬 처리 및 한 번의 전파로 추론가능한 비자동회귀 아키텍처를 개발하기 위해.
• 실시간 응용에 적합한 저지연, 고정확도 음성 인식을 달성하기 위해.

제안 방법

• LASO는 음성 특징 추출을 위한 CNN 기반 인코더, 음성과 텍스트의 길이 격차를 메우기 위한 위치에 의존하는 요약 모듈(PDS), 토큰 수준의 의미적 정밀화를 위한 디코더로 구성된 세 모듈 아키텍처를 사용한다.
• PDS는 인코더의 고수준 표현에서 다중 헤드 자기주의를 통해 위치 기반의 컨텍스트 벡터를 생성한다.
• 디코더는 순환 구조나 이전에 예측된 토큰에 대한 의존성이 없는 피드포워드 주의 블록을 사용하여 토큰을 병렬로 예측한다.
• 모델은 엔트로피 손실을 기반으로 종단간 훈련되며, 추론 시에는 비트-서치 없이 각 위치에서 가장 가능성이 높은 토큰을 선택한다.
• 피드포워드 주의를 통해 병렬 계산을 활용함으로써 한 번의 전파 추론이 가능해져 지연이 극적으로 감소한다.
• 성능 향상과 내성 강화를 위해 속도 왜곡을 활용한 데이터 증강 기법이 적용된다.

실험 결과

연구 질문

• RQ1 음성 신호 내 암묵적인 의미적 구조에 의존하여 명시적 자동회귀나 마스크된 언어 모델링 없이도 정확한 번역을 생성할 수 있는가?
• RQ2 정확도와 추론 속도 측면에서 비자동회귀 모델은 최신 자동회귀 트랜스포머 모델과 비교해 어떻게 성능을 내는가?
• RQ3 피드포워드 주의 기반 아키텍처는 음성 인식에서 병렬 처리 및 한 번의 전파 추론을 가능하게 하면서도 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 모델이 음성 신호에서 직접 토큰 수준의 의미를 포착함으로써 성능 향상에 얼마나 기여하는가?
• RQ5 자기회귀적 의존성이 없는 상황에서 위치에 의존하는 요약 모듈(PDS)이 음성 표현과 토큰 위치를 얼마나 잘 정렬하는가?

주요 결과

• LASO는 AISHELL-1 테스트 세트에서 6.4%의 문자 오류율(CER)을 기록하며, 최신 자동회귀 트랜스포머 모델(6.7% CER)을 능가한다.
• LASO의 추론 지연은 1문장당 21ms이며, 자동회귀 트랜스포머 기준선 대비 50배 빠른 성능 향상을 보였다.
• 속도 왜곡을 적용한 LASO-big는 테스트 세트에서 CER 5.8%를 기록하여 데이터 증강의 효과를 입증했다.
• 비트-서치 없이도 비자동회귀 아키텍처가 제공하는 병렬적, 한 번의 전파 추론 덕분에 성능 유지가 가능했다.
• 주의 점수의 시각화 결과 의미 있는 토큰이 관련 음성 세그먼트와 정렬된 반면, <eos> 토큰은 명확한 정렬이 없음을 확인하여 모델의 주의 행동이 타당함을 검증했다.
• PDS 모듈은 자기회귀적 의존성이 없이도 위치 기반 의미 표현을 성공적으로 포착하여 정확한 토큰 예측을 가능하게 했다.