[논문 리뷰] A comparison of end-to-end models for long-form speech recognition

Chung‐Cheng Chiu, Wei Han외 12명|arXiv (Cornell University)|2019. 11. 06.

Speech Recognition and Synthesis참고 문헌 13인용 수 13

한 줄 요약

이 논문은 장기 음성 인식에 대해 엔드 투 엔드 모델—특히 RNN-T와 다양한 어텐션 기반 아키텍처를 비교한다. 표준 어텐션 모델은 장기 발화에서 일반화 능력이 떨어져 실패하는 반면, 단조성 어텐션과 겹치는 세그먼테이션 디코딩을 조합하면 RNN-T 성능에 도달할 수 있으며, RNN-T는 기본적으로 장기 데이터에서 강건함을 유지한다.

ABSTRACT

End-to-end automatic speech recognition (ASR) models, including both attention-based models and the recurrent neural network transducer (RNN-T), have shown superior performance compared to conventional systems. However, previous studies have focused primarily on short utterances that typically last for just a few seconds or, at most, a few tens of seconds. Whether such architectures are practical on long utterances that last from minutes to hours remains an open question. In this paper, we both investigate and improve the performance of end-to-end models on long-form transcription. We first present an empirical comparison of different end-to-end models on a real world long-form task and demonstrate that the RNN-T model is much more robust than attention-based systems in this regime. We next explore two improvements to attention-based systems that significantly improve its performance: restricting the attention to be monotonic, and applying a novel decoding algorithm that breaks long utterances into shorter overlapping segments. Combining these two improvements, we show that attention-based end-to-end models can be very competitive to RNN-T on long-form speech recognition.

연구 동기 및 목표

• 실세계의 장기 음성 인식 작업에서 엔드 투 엔드 ASR 모델의 성능을 평가하며, 특히 짧은 발화를 초월한 일반화 능력을 중점적으로 다룬다.
• 표준 어텐션 기반 모델이 장기 음성에서 성능이 떨어지는 이유를 분석하며, 특히 높은 삭제 오류의 측면에서 분석한다.
• 아키텍처 및 디코딩 수정을 통해 어텐션 기반 모델의 장기 인식 성능을 향상시킨다.
• 어텐션 기반 모델이 장기 음성 번역 작업에서 RNN-T와 유사한 성능을 달성할 수 있는지 확인한다.

제안 방법

• 유튜브 영상 원문을 사용하여 실세계의 장기 음성 ASR 작업에서 RNN-T와 여러 어텐션 기반 모델(소프트, 단조성, MoChA, MILk, GMM 단조성)을 경험적으로 비교한다.
• 음성 및 텍스트 시퀀스 간의 단조로운 정렬을 보장하기 위해 어텐션 메커니즘에 단조성 제약을 적용한다.
• 경계를 넘어서도 맥락을 유지할 수 있도록 장기 발화를 겹치는 청크로 나누는 새로운 겹침 세그먼테이션 디코딩 전략을 구현한다.
• 정렬 안정성 향상과 오류율 감소를 위해 5개의 혼합 성분을 가진 GMM 기반 단조성 어텐션 모델을 사용한다.
• MILk 모델에 지연 시간을 고려한 손실 함수를 적용하여 토큰을 더 이르고 일관되게 출력하도록 유도한다.
• 모든 모델을 양방향 LSTM(1024 유닛)으로 훈련하고, 공정한 비교를 위해 동일한 RNN-T 아키텍처를 사용하며, Tensorflow-Lingvo를 통해 공유 인코더를 최적화한다.

실험 결과

연구 질문

• RQ1 표준 엔드 투 엔드 모델, 특히 어텐션 기반 모델은 RNN-T에 비해 장기 음성 인식에서 어떻게 성능을 내는가?
• RQ2 왜 어텐션 기반 모델은 장기 발화로 일반화하지 못하며, 관찰된 주요 오류 유형은 무엇인가?
• RQ3 단조성 어텐션은 장기 ASR에서 어텐션 기반 모델의 강건성에 얼마나 기여하는가?
• RQ4 겹침 세그먼테이션 디코딩은 장기 발화 처리 시 맥락 손실을 완화하는 데 효과적인가?
• RQ5 단조성 어텐션과 겹침 디코딩의 조합이 어텐션 기반 모델이 장기 작업에서 RNN-T와 경쟁 가능하게 만들 수 있는가?

주요 결과

• RNN-T 모델은 장기 음성 인식에서 가장 낮은 WER를 기록하여 장기 발화에 대한 강건성과 확장성에서 뛰어난 성능을 보였다.
• 표준 소프트 어텐션 모델은 장기 데이터에서 심각한 성능 저하를 보였으며, WER가 67.1로 떨어졌는데, 이는 주로 63.2개의 삭제 오류 때문이었다.
• 어텐션 기반 모델 중에서 GMM 기반 단조성 어텐션 모델이 가장 우수한 성능을 보였지만(다음으로 RNN-T에 비해 열등), 이는 단조성이 도움이 되지만 단독으로는 충분하지 않음을 시사한다.
• 겹침 세그먼테이션 디코딩은 성능 향상에 뚜렷한 기여를 하였다: 16초 세그먼트에서는 비겹침 세그먼테이션 대비 WER 손실 감소 효과가 있었으며, RNN-T는 세그먼테이션 시에 오직 10%의 상대적 성능 저하를 보였다.
• 단조성 어텐션과 겹침 추론의 조합을 통해 어텐션 기반 모델 중 가장 우수한 성능을 낸 MILk 모델이 장기 작업에서 RNN-T와 경쟁 가능한 성능을 달성하였다.
• RNN-T 모델은 장기 발화가 세그먼트로 나뉘어져도 높은 품질을 유지하는 반면, 어텐션 모델은 겹침 디코딩 없이 맥락 손실을 겪는다.