[논문 리뷰] WeNet: Production First and Production Ready End-to-End Speech Recognition Toolkit.

Binbin Zhang, Di Wu외 9명|arXiv (Cornell University)|2021. 02. 02.

Speech Recognition and Synthesis참고 문헌 6인용 수 18

한 줄 요약

WeNet는 연구와 실제 구현 사이의 격차를 메우기 위해 설계된 프로덕션 중심의 엔드 투 엔드(E2E) 음성 인식 툴킷입니다. AISHELL-1에서 스트리밍 및 비스트리밍 환경 모두에서 낮은 문자 오류률(CER)과 효율적인 추론을 달성하여 실제 운영 환경에 적합한 성능을 보입니다.

ABSTRACT

In this paper, we present a new open source, production first and production ready end-to-end (E2E) speech recognition toolkit named WeNet. The main motivation of WeNet is to close the gap between the research and the production of E2E speech recognition models. WeNet provides an efficient way to ship ASR applications in several real-world scenarios, which is the main difference and advantage to other open source E2E speech recognition toolkits. This paper introduces WeNet from three aspects, including model architecture, framework design and performance metrics. Our experiments on AISHELL-1 using WeNet, not only give a promising character error rate (CER) on a unified streaming and non-streaming two pass (U2) E2E model but also show reasonable RTF and latency, both of these aspects are favored for production adoption. The toolkit is publicly available at this https URL

연구 동기 및 목표

• 연구 프로토타입과 프로덕션 준비 완료된 E2E 음성 인식 시스템 사이의 격차를 해소하기 위해.
• 실제 응용 프로그램에서 엔드 투 엔드 ASR 모델을 효율적으로 구현할 수 있도록 하기 위해.
• 통합된 이중패스(U2) 모델 아키텍처를 통해 스트리밍 및 비스트리밍 추론을 모두 지원하기 위해.
• 프로덕션 환경에서의 추론 효율성과 지연을 최적화하기 위해.
• 산업 규모의 ASR 응용 프로그램에 적합한 확장 가능한 오픈소스 툴킷을 제공하기 위해.

제안 방법

• 스트리밍 및 비스트리밍 추론을 모두 지원하는 통합된 이중패스(U2) E2E 모델 아키텍처를 설계하기 위해.
• 낮은 지연과 실시간 성능을 최적화한 효율적인 추론 파이프라인을 구현하기 위해.
• 프로덕션 배포를 위해 효율적인 신경망 구성 요소와 추론 최적화 기법을 활용하기 위해.
• 학습 및 추론 워크플로우를 하나의 프로덕션 준비 완료된 프레임워크로 통합하기 위해.
• 스트리밍 및 비스트리밍 추론을 모두 처리할 수 있는 동일한 모델 아키텍처를 사용하여 복잡성을 줄이기 위해.
• 하드웨어 인식 최적화를 통해 추론을 최적화하여 낮은 RTF(실시간 요소)와 지연을 달성하기 위해.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 음성 인식 모델을 고정밀도를 유지하면서도 프로덕션 준비 완료 상태로 만들 수 있는가?
• RQ2 어떤 아키텍처적 및 엔지니어링적 선택이 실제 시스템에서 E2E ASR의 효율적 구현을 가능하게 하는가?
• RQ3 통합된 모델이 스트리밍 및 비스트리밍 추론 시나리오 모두에서 경쟁적인 성능을 달성할 수 있는가?
• RQ4 프로덕션 유사 환경에서 E2E 모델의 지연 및 실시간 요소(RTF) 특성은 어떠한가?
• RQ5 기존의 오픈소스 E2E ASR 툴킷과 비교해 WeNet 툴킷은 배포 준비성 측면에서 어떻게 다른가?

주요 결과

• WeNet는 통합된 이중패스(U2) E2E 모델을 사용하여 AISHELL-1 데이터셋에서 유망한 문자 오류률(CER)을 달성합니다.
• 모델은 실시간 요소(RTF)와 낮은 지연을 보이며, 프로덕션 배포에 적합합니다.
• 툴킷은 단일 모델 아키텍처를 통해 스트리밍 및 비스트리밍 추론을 모두 지원합니다.
• WeNet는 프로덕션 사용을 위해 설계되었으며, 실제 환경에서의 효율적인 추론을 보장하는 최적화가 적용되어 있습니다.
• 오픈소스 툴킷은 공개적으로 이용 가능하며 프로덕션 준비 완료 상태이므로, E2E ASR 응용 프로그램의 신속한 배포가 가능합니다.
• 이 프레임워크는 연구 프로토타입과 산업 규모의 ASR 배포 사이의 격차를 성공적으로 메웠습니다.