[논문 리뷰] Universal ASR: Unifying Streaming and Non-Streaming ASR Using a Single Encoder-Decoder Model

Zhifu Gao, Shiliang Zhang외 2명|arXiv (Cornell University)|2020. 10. 27.

Speech Recognition and Synthesis참고 문헌 26인용 수 10

한 줄 요약

이 논문은 스트리밍 및 비스트리밍 자동 음성 인식을 하나의 아키텍처로 통합하는 유니버설 ASR를 제안한다. 이는 공유 동적 청크 인코더와 이중 경로 디코더를 사용하여, 스트리밍 경로에서 구성 가능한 지연 시간과 비스트리밍 경로에서 향상된 정확도를 달성한다. 공동 학습과 공유 계산을 통해, AISHELL-2 벤치마크에서 5.62% CER의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Recently, online end-to-end ASR has gained increasing attention. However, the performance of online systems still lags far behind that of offline systems, with a large gap in quality of recognition. For specific scenarios, we can trade-off between performance and latency, and can train multiple systems with different delays to match the performance and latency requirements of various application scenarios. In this work, in contrast to trading-off between performance and latency, we envisage a single system that can match the needs of different scenarios. We propose a novel architecture, termed Universal ASR that can unify streaming and non-streaming ASR models into one system. The embedded streaming ASR model can configure different delays according to requirements to obtain real-time recognition results, while the non-streaming model is able to refresh the final recognition result for better performance. We have evaluated our approach on the public AISHELL-2 benchmark and an industrial-level 20,000-hour Mandarin speech recognition task. The experimental results show that the Universal ASR provides an efficient mechanism to integrate streaming and non-streaming models that can recognize speech quickly and accurately. On the AISHELL-2 task, Universal ASR comfortably outperforms other state-of-the-art systems.

연구 동기 및 목표

• 스트리밍 및 비스트리밍 엔드 투 엔드 ASR 시스템 간의 성능 격차를 해소하기 위해 둘을 하나의 모델로 통합한다.
• 다양한 지연 요구 사항을 충족시키기 위해 별도의 모델을 유지하는 데 발생하는 운영 및 최적화 오버헤드를 줄인다.
• 스트리밍 구성 요소에서 구성 가능한 지연 시간을 지원하면서도 실시간 추론을 가능하게 하고, 두 번째 단계의 비스트리밍 보완을 통해 높은 정확도를 유지한다.
• 온라인 및 오프라인 구성 요소 간의 인코더를 공유하여 계산 비용을 최소화한다.
• 온라인 예측에서 유래한 전체 맥락 표현과 의미적 맥락을 활용하여 비스트리밍 모드에서의 인식 정확도를 향상시킨다.

제안 방법

• LC-SAN-M 기반의 공유 동적 청크 인코더를 사용하는 통합 인코더-디코더 아키텍처를 제안하여 스트리밍 및 비스트리밍 추론을 모두 가능하게 한다.
• 지역 맥락에 대한 주의를 제어할 수 있는 예측기 기반의 스트리밍 디코더를 구현하여, 스트리밍 추론에서 저지연을 확보한다.
• 동일한 온라인 모델이 추론 중에 다양한 지연 설정(예: 300ms, 600ms, 900ms)을 지원할 수 있도록 동적 지연 학습(Dynamic Latency Training, DLT)을 도입한다.
• 전체 시퀀스 인코더, 온라인 모델의 예측을 통합하기 위한 텍스트 인코더, 맥락이 풍부한 디코딩을 위한 전체 시퀀스 디코더를 갖춘 비스트리밍 구성 요소를 설계한다.
• 성능 저하 없이 계산 비용을 줄이기 위해 오프라인 경로에서 스트라이드 컨볼루션 다운샘플링(커널=5, 스트라이드=2)을 사용한다.
• 전체 모델을 엔드 투 엔드로 공동 학습하여 양방향 추론 구성 요소 간의 파라미터 공유와 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 한 개의 엔드 투 엔드 ASR 모델이 구성 가능한 지연 시간을 갖는 스트리밍 및 비스트리밍 추론을 효과적으로 통합할 수 있는가?
• RQ2 스트리밍 및 비스트리밍 구성 요소 간의 인코더를 공유하면 계산 비용을 줄일 수 있을 뿐 아니라 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 비스트리밍 구성 요소가 온라인 구성 요소의 예측을 활용하여 최종 인식 정확도를 향상시킬 수 있는가?
• RQ4 동적 지연 학습(Dynamic Latency Training, DLT)이 다양한 지연 제약 조건 하에서 모델의 유연성과 성능을 얼마나 향상시키는가?
• RQ5 제안된 통합 모델은 스트리밍 및 비스트리밍 모델을 별도로 사용하는 경우에 비해 정확도와 추론 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 유니버설 ASR는 AISHELL-2 테스트_ios 세트에서 5.62% CER를 달성하여 이 벤치마크의 새로운 최고 기록을 수립한다.
• 유니버설 ASR의 오프라인 구성 요소는 공통 및 팬필드 테스트 세트에서 오프라인 베이스라인 모델(Model0)보다 15% 이상의 상대 오차 감소를 기록한다.
• 동적 지연 학습(Dynamic Latency Training, DLT)을 적용한 온라인 구성 요소는 동일한 지연 설정에서 별도로 학습된 SCAMA 모델보다 더 뛰어난 성능을 보인다.
• 전체 시퀀스 인코더를 제거하면 성능이 크게 악화되며, 이는 비스트리밍 디코딩에서 전체 맥락 모델링의 중요성을 확인한다.
• 오프라인 경로의 텍스트 인코더는 온라인 예측에서 유래한 의미적 맥락을 통합함으로써 성능을 향상시킨다. 이는 상호 경로 간 지식 전이의 가치를 입증한다.
• 공유 인코더와 스트라이드 컨볼루션 다운샘플링은 오프라인 경로의 계산 비용을 줄여, 수용 가능한 지연 시간 내에서 효율적인 두 번째 단계 디코딩을 가능하게 한다.