[논문 리뷰] Are E2E ASR models ready for an industrial usage?

Valentin Vielzeuf, Grigory Antipov|arXiv (Cornell University)|2021. 12. 09.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 다양한 실제 음성 도메인에서 종단간(end-to-end, E2E) 음성 인식(ASR) 모델을 하이브리드 기반 모델과 비교하여 평가하며, 현대적인 E2E 모델—특히 Citrinet 변종—이 정확도(낮은 WER)와 계산 효율성(더 빠른 훈련 및 추론) 측면에서 하이브리드 시스템을 능가함을 입증한다. 입력 분할에 대한 민감도도 매우 낮다. 이 연구는 일반화 능력과 높은 계산 비용이 더 이상 E2E ASR의 산업적 도입을 방해하는 주요 장애물이 아니라는 결론을 도출한다.

ABSTRACT

The Automated Speech Recognition (ASR) community experiences a major turning point with the rise of the fully-neural (End-to-End, E2E) approaches. At the same time, the conventional hybrid model remains the standard choice for the practical usage of ASR. According to previous studies, the adoption of E2E ASR in real-world applications was hindered by two main limitations: their ability to generalize on unseen domains and their high operational cost. In this paper, we investigate both above-mentioned drawbacks by performing a comprehensive multi-domain benchmark of several contemporary E2E models and a hybrid baseline. Our experiments demonstrate that E2E models are viable alternatives for the hybrid approach, and even outperform the baseline both in accuracy and in operational efficiency. As a result, our study shows that the generalization and complexity issues are no longer the major obstacle for industrial integration, and draws the community's attention to other potential limitations of the E2E approaches in some specific use-cases.

연구 동기 및 목표

• 종단간(E2E) ASR 모델이 도메인 간 일반화 능력 부족과 높은 계산 비용이라는 산업적 주요 장벽을 극복할 수 있는지 평가하기 위해.
• 실제 음성 데이터를 사용하여 다양한 도메인 환경에서 최신 E2E 모델(Conformer, Citrinet, CRDNN)과 하이브리드 기반 모델을 비교 평가하기 위해.
• 실제 산업 환경에 부합하는 맥락에서 모델 정확도(단어 오류율, WER)와 운영 효율성(훈련 시간, 추론 속도, 메모리 사용량)을 동시에 평가하기 위해.
• 음성 활동 검출(VAD)이 E2E 모델 성능에 미치는 영향을 분석하고, 분할 처리 여부에 따라 성능을 비교하기 위해.
• E2E 모델이 복잡한 언어 모델이 필요로 하는지, 아니면 간단한 디코딩만으로도 강건한 성능을 낼 수 있는지 확인하기 위해.

제안 방법

• 프랑글리시, 리브리스피치-클리어, 리브리스피치-오더, 스위치보드, TED-LIUM, WSJ의 6개 다채널 데이터셋을 사용하여 종합적인 다도메인 벤치마크를 수행하였다.
• 동일한 조건에서 여러 E2E 아키텍처(소형 및 중간 크기의 Conformer, Citrinet, CRDNN)와 표준 하이브리드 ASR 모델을 훈련 및 평가하였다.
• 그리디 디코딩과 3-그램 언어 모델 디코딩을 사용하여 단어 오류율(WER)을 측정하였다.
• CPU 및 GPU에서의 역실시간 요소(iRTF)를 통해 계산 비용을 보고하였으며, 훈련 시간과 파라미터 수를 기록하였다.
• VAD에 대한 분석을 위해 원본 분할되지 않은 오디오, 참조 기반 분할, 세 가지 오프더쇼프 VAD 시스템(SpeechBrain, Nemo, Silero)을 비교하였다.
• 최신 E2E 아키텍처를 사용하였으며, Conformer(자기주의 주의 + 컨볼루션 계층), Citrinet(경량 컨볼루션 모델), CRDNN(순환 아키텍처)를 CTC 손실 함수와 함께 적용하였다.

실험 결과

연구 질문

• RQ1 현대적인 E2E ASR 모델은 표준 벤치마크 외의 다양한 실제 음성 도메인에서도 잘 일반화되는가, 아니면 여전히 하이브리드 모델에 비해 성능이 열 劣하는가?
• RQ2 다양한 도메인 평가 환경에서 E2E 모델은 현재 산업 표준인 하이브리드 ASR보다 더 높은 정확도와 낮은 계산 비용을 달성할 수 있는가?
• RQ3 언어 모델의 포함 여부가 E2E 모델 성능에 어떤 영향을 미치며, 강건한 인식 성능을 확보하기 위해 필수적인가?
• RQ4 E2E 모델은 높은 품질의 음성 분할(VAD)에 얼마나 의존하는가, 원본 분할되지 않은 오디오도 효과적으로 처리할 수 있는가?
• RQ5 산업적 도입을 고려할 때 정확도, 추론 속도, 메모리 사용량 사이의 최적의 트레이드오프를 제공하는 E2E 아키텍처는 무엇인가?

주요 결과

• Citrinet-small 모델은 그리디 디코딩을 사용하여 모든 6개 도메인에서 총 WER 14.9%를 기록하였으며, 하이브리드 기반 모델(20.0% WER)을 뛰어넘고 더 큰 모델들과도 맞먹거나 뛰어난 성능을 보였다.
• CRDNN 이외의 모든 E2E 모델은 하이브리드 모델 대비 훈련 시간을 크게 단축시켰으며, Citrinet-small는 4개의 2080 Ti GPU를 사용해 단 7일 만에 훈련을 완료하였다.
• Citrinet-small는 1시간의 음성 처리에 1초 미만(_GPU에서 iRTF ≈ 0.8_)이 소요되어 Conformer 및 CRDNN 대비 뛰어난 추론 효율성을 보였다.
• Conformer(소형) 모델은 그리디 디코딩으로 총 WER 14.3%를 기록하였고, 3-그램 언어 모델을 사용하면 12.6%까지 향상되었으며, 강력한 성능을 보였지만 Citrinet보다 계산 비용이 더 높았다.
• E2E 모델은 입력 VAD 품질에 거의 민감하지 않았다: 참조 기반 분할 또는 분할 없이도 WER가 ±0.2 WER 포인트 이내로 거의 동일하게 유지되었다.
• CRDNN 모델은 1.2억 파라미터를 가진 데도 불구하고 높은 계산 비용에도 불구하고 더 작은 E2E 모델들보다 성능이 열 劣하였으며, 그리디 디코딩으로 총 WER 15.1%를 기록했고, 언어 모델을 사용하면 13.2%까지 향상되었다.