[논문 리뷰] Synchronous Transformers for End-to-End Speech Recognition

Zhengkun Tian, Jiangyan Yi외 4명|arXiv (Cornell University)|2019. 12. 06.

Speech Recognition and Synthesis참고 문헌 19인용 수 5

한 줄 요약

이 논문은 동기화된 트랜스포머(Sync-Transformer)를 제안하며, 고정 길이의 청크로 입력을 처리하고 동시에 디코딩함으로써 온라인 스트리밍 추론을 가능하게 하는 새로운 엔드 투 엔드 음성 인식 모델이다. 인코더의 자기주의에 대해 향후 정보에 의존하지 않도록 제한하고, 훈련 중에 모든 정렬 경로를 최적화하기 위해 전진-후진 알고리즘을 사용함으로써, AISHELL-1 간체어 데이터셋에서 문자 오류율(CER) 8.91%를 달성하였으며, 이는 최신 기술 수준의 트랜스포머 성능을 따라가면서도 실시간 배포가 가능하다.

ABSTRACT

For most of the attention-based sequence-to-sequence models, the decoder predicts the output sequence conditioned on the entire input sequence processed by the encoder. The asynchronous problem between the encoding and decoding makes these models difficult to be applied for online speech recognition. In this paper, we propose a model named synchronous transformer to address this problem, which can predict the output sequence chunk by chunk. Once a fixed-length chunk of the input sequence is processed by the encoder, the decoder begins to predict symbols immediately. During training, a forward-backward algorithm is introduced to optimize all the possible alignment paths. Our model is evaluated on a Mandarin dataset AISHELL-1. The experiments show that the synchronous transformer is able to perform encoding and decoding synchronously, and achieves a character error rate of 8.91% on the test set.

연구 동기 및 목표

• 표준 주의 기반 순서-순서 모델에서 발생하는 비동기 인코딩-디코딩 문제를 해결함으로써 온라인 음성 인식을 방해하는 요소를 제거한다.
• 각 고정 길이 입력 청크가 처리된 직후 디코더가 즉시 출력을 생성할 수 있도록 해, 실시간 스트리밍 추론을 가능하게 한다.
• 비스트리밍 트랜스포머 수준의 높은 인식 정확도를 유지하면서도 온라인 배포를 지원한다.
• 강제 정렬이나 복잡한 주의 메커니즘에 의존하지 않고, 전진-후진 알고리즘을 사용해 모든 가능한 정렬 경로를 최적화하는 훈련 방법을 개발한다.

제안 방법

• 인코더는 인과 자기주의를 사용하여 각 토큰이 오직 왼쪽 컨텍스트만 참조하도록 제한함으로써 미래 토큰에 대한 의존성을 제거한다.
• 입력 시퀀스는 고정 길이 W의 겹치는 청크로 나뉘며, 인접한 청크 간에 겹침 길이 B를 두어 원활한 정보 흐름을 확보한다.
• 디코더는 인코더 청크가 처리된 직후부터 청크 단위로 출력 기호를 생성한다.
• 훈련 중에 모든 가능한 정렬 경로의 합을 계산하기 위해 전진-후진 알고리즘이 적용되며, RNN-Transducer 및 SA-T와 유사한 음수 로그우도 손실을 계산한다.
• 2차원 컨볼루션 프론트엔드를 사용하여 입력 특징 시퀀스를 다운샘플링하고, 인코더 처리 이전에 고차원 공간으로 변환한다.
• 트랜스포머와 자기주의 트랜스듀서(SA-T) 아키텍처의 장점을 융합하여 엔드 투 엔드, 스트리밍, 정확한 음성 인식을 가능하게 한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 온라인 음성 인식을 지원하기 위해 동기 인코딩-디코딩을 달성할 수 있는가?
• RQ2 자기주의를 왼쪽 컨텍스트로 제한하는 것이 모델 성능과 스트리밍 능력에 미치는 영향는 어떠한가?
• RQ3 RNN이나 강제 정렬에 의존하지 않고도 자기주의 기반 모델에서 전진-후진 알고리즘이 정렬 경로를 효과적으로 최적화할 수 있는가?
• RQ4 스트리밍 환경에서 인식 정확도를 유지하기 위해 청크 길이와 겹침 길이 사이의 최적 균형은 무엇인가?
• RQ5 기존 엔드 투 엔드 모델인 LAS, RNN-T, 표준 트랜스포머와 비교했을 때 제안된 모델의 정확도와 추론 효율성은 어떠한가?

주요 결과

• Sync-Transformer는 AISHELL-1 테스트 세트에서 문자 오류율(CER) 8.91%를 달성하여, 비스트리밍 트랜스포머 모델과 유사한 성능을 보였다.
• 청크 길이 10, 겹침 길이 3을 가진 모델이 가장 높은 성능을 보였으며, 겹침 길이 0, 1, 2, 4인 설정보다 뛰어났다.
• 이전의 RNN을 사용하지 않는 트랜스듀서 모델인 Chunk-Flow SA-T보다도 성능이 뛰어나 CER가 9.80% 대비 8.91%로 낮았고, 더 적은 디코딩 단계를 요구했다.
• Sync-Transformer는 전체 주의 트랜스포머(테스트 세트에서 CER 8.64%)에 비해 정확도가 약간 떨어지지만, 온라인 스트리밍 추론을 가능하게 한다.
• RNN-T 및 SA-T보다 더 적은 디코딩 단계를 요구하여 추론 중 메모리 및 시간 비용을 감소시켰다.
• 삭제 오류가 약간 증가하고, 청각적으로 유사한 단어들 간의 혼동이 증가하는 경향을 보이며, 강인성 향상 여지가 있음을 시사한다.