[논문 리뷰] Recent Advances in End-to-End Automatic Speech Recognition

Jinyu Li|arXiv (Cornell University)|2021. 11. 02.

Speech Recognition and Synthesis인용 수 53

한 줄 요약

이 논문은 end-to-end (E2E) ASR 모델들, 그 아키텍처, 훈련 기준, 스트리밍 가능성, 다국어 모델링, 산업 중심 배치 고려사항을 고찰하며, 현재의 강점과 전통적인 하이브리드에 비해 실용적인 도전 과제를 부각한다.

ABSTRACT

Recently, the speech community is seeing a significant trend of moving from deep neural network based hybrid modeling to end-to-end (E2E) modeling for automatic speech recognition (ASR). While E2E models achieve the state-of-the-art results in most benchmarks in terms of ASR accuracy, hybrid models are still used in a large proportion of commercial ASR systems at the current time. There are lots of practical factors that affect the production model deployment decision. Traditional hybrid models, being optimized for production for decades, are usually good at these factors. Without providing excellent solutions to all these factors, it is hard for E2E models to be widely commercialized. In this paper, we will overview the recent advances in E2E models, focusing on technologies addressing those challenges from the industry's perspective.

연구 동기 및 목표

• 하이브리드에서 end-to-end ASR로의 전환과 배치 결정에 영향을 미치는 산업적 요인 설명.
• 주요 E2E 모델 계열(CTC, AED, RNN-T)과 그들의 스트리밍 가능성 요약.
• 인코더 아키텍처(LSTM, Transformer, Conformer)와 스트리밍 지연(latency) 고려사항 토론.
• 표준 손실 외의 학습 기준(teacher-student 및 MWER 포함)을 제시하고 다국어 및 적응 주제를 탐구.

제안 방법

• 세 가지 주요 E2E ASR 접근법: CTC, Attention-based Encoder-Decoder (AED), 및 RNN-Transducer (RNN-T)을 설명하고 비교한다.
• CTC가 간단한 경로 기반 손실로 라벨 정렬을 완화하는 방법과 주의력(attention) 및 자기지도(self-supervision)가 독립성 가정을 어떻게 완화하는지 설명한다.
• 지연 제어를 위한 공동 CTC 및 스트리밍 주의(attention) 전략으로 AED 학습 세부사항을 제시한다.
• 제한된 정렬, FastEmit, 자기 정렬(self-alignment) 접근법을 통한 저지연 스트리밍을 위한 RNN-T 아키텍처 및 학습 개선점을 제시한다.
• LSTM, 대기 시간 제어가 가능한 BLSTM, Transformer, Conformer를 포함한 인코더 옵션을 제시하여 컨텍스트 모델링을 개선한다.
• 정확도와 지연의 균형을 위한 스트리밍 주의 마스킹 및 컨텍스트 확장 기법을 논의한다.
• 교사-학생 학습 및 MWER와 같은 대체 학습 기준을 요약한다.

실험 결과

연구 질문

• RQ1 ASR의 지배적인 엔드투엔드 아키텍처는 무엇이며 정확도와 스트리밍 능력의 트레이드오프는 어떤가?
• RQ2 인코더 선택(LSTM, Transformer, Conformer)이 E2E ASR의 성능과 지연에 어떤 영향을 미치는가?
• RQ3 학습 목표와 실제 ASR 메트릭 간의 격차를 메우는 데 도움이 되는 학습 기준과 기술은 무엇인가?
• RQ4 E2E 모델을 다국어로 만들거나 다수의 언어 또는 도메인에 적응시키려면 어떻게 해야 하는가?
• RQ5 산업 현장에서의 배치 고려사항(지연, 적응성, 자원 제약)을 다루는 가장 효과적인 전략은 무엇인가?

주요 결과

• RNN-T는 자연스러운 스트리밍 출력과 경쟁력 있는 정확도로 인해 업계에서 선도적인 스트리밍 E2E 모델로 자리매김한다.
• Transformer 및 Conformer 인코더는 장기 의존성의 모델링에 우수하며, 경우에 따라 LSTM 기반 인코더를 능가한다.
• AED의 스트리밍 전략(MoChA, MILK, 트리거드 어텐션 등)은 지연 또는 안정성 트레이드를 수반하는 경우가 많아 스트리밍 작업에 RNN-T가 선호된다.
• 일부 모델에서 수렴성, 지연, 정확도를 개선하기 위한 공동 CTC-AED 학습, 교사-학생 학습, MWER 등의 학습 개선 기법이 논의되며, 모델 유형에 따라 이점이 다르다.
• 범용 다국어 모델 및 구성 가능한 다국어 모델(CMM) 등 다국어 모델링 접근법이 다수 존재하며, 코드 스위칭 및 언어 식별 통합에 대한 추가 기법이 있다.
• 제한된 정렬, FastEmit, 자기 정렬(self-alignment) 등 지연 및 메모리 효율성 개선은 실용적 배치를 위한 중요한 진전으로 제시된다.