[논문 리뷰] End-to-End Speech Recognition: A Survey

Rohit Prabhavalkar, Takaaki Hori외 3명|arXiv (Cornell University)|2023. 01. 01.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 종합적 서베이는 종단간(end-to-end, E2E) 음성 인식(ASR) 모델의 아키텍처, 훈련, 디코딩, 언어 모델 통합을 포함한 포괄적인 분류 체계를 제공한다. E2E ASR가 음향 모델링과 언어 모델링을 하나의 신경망으로 통합하여 수동으로 설계된 구성 요소에 대한 의존도를 줄이며 최신 성능을 달성하는 방식을 강조한다. 同시에 저자원 환경, 훈련 효율성, 모델 해석 가능성 등의 핵심 과제를 밝혀낸다.

ABSTRACT

In the last decade of automatic speech recognition (ASR) research, the introduction of deep learning brought considerable reductions in word error rate of more than 50% relative, compared to modeling without deep learning. In the wake of this transition, a number of all-neural ASR architectures were introduced. These so-called end-to-end (E2E) models provide highly integrated, completely neural ASR models, which rely strongly on general machine learning knowledge, learn more consistently from data, while depending less on ASR domain-specific experience. The success and enthusiastic adoption of deep learning accompanied by more generic model architectures lead to E2E models now becoming the prominent ASR approach. The goal of this survey is to provide a taxonomy of E2E ASR models and corresponding improvements, and to discuss their properties and their relation to the classical hidden Markov model (HMM) based ASR architecture. All relevant aspects of E2E ASR are covered in this work: modeling, training, decoding, and external language model integration, accompanied by discussions of performance and deployment opportunities, as well as an outlook into potential future developments.

연구 동기 및 목표

• 종단간(E2E) ASR 모델과 그 발전 과정에 대한 포괄적인 분류 체계 제공.
• 기존의 HMM 기반 아키텍처와 비교하여 E2E ASR의 특성 분석.
• 통합 훈련, 데이터 활용도, 모델 통합이 ASR 성능 향상에 기여하는 방식 검토.
• 저자원 환경, 훈련 효율성, 모델 설명 가능성 등 E2E ASR의 열린 과제 식별.
• 텍스트 및 오디오 데이터의 통합 학습 등 E2E 모델링의 주요 기회를 제시하여 향후 연구 유도.

제안 방법

• 통합 모델링, 단일 패assing 검색, 통합 훈련, 통합 데이터, 초기부터 훈련, 보조 지식 소스 회피, 일반화된 모델링 기반의 E2E ASR 다면적 정의 제안.
• RNN-T, Transformer 기반 모델, 주의 기반 인코더-디코더(AED) 시스템을 포함한 주요 E2E 아키텍처 리뷰.
• 음향 모델링 및 언어 모델링 목표의 통합 최적화 전략, 비라벨된 음성 및 텍스트 데이터 활용 기법 분석.
• 빔 서치, 레이티스 재정렬, 실시간 추론을 위한 종단간 종료점 검출 기법 등 디코딩 방법 논의.
• 생산 환경에서의 외부 언어 모델 및 신경 언어 모델을 통한 재정렬을 위한 통합 기법 검토.
• 특히 Google의 Pixel 스마트폰에서의 온디바이스 E2E ASR 시스템 사례 연구 리뷰. 지연 최적화 중심의 성능 향상 강조.

실험 결과

연구 질문

• RQ1 종단간 ASR는 아키텍처, 훈련, 추론 측면에서 기존의 HMM 기반 ASR와 어떻게 다를까?
• RQ2 언어학적 사전 지식에 최소한의 의존도로 높은 성능을 달성할 수 있도록 하는 핵심 아키텍처 및 훈련 구성 요소는 무엇인가?
• RQ3 저자원 또는 준지도 학습 환경에서 E2E 모델은 텍스트 전용 및 오디오 전용 데이터를 어떻게 효과적으로 활용할 수 있는가?
• RQ4 온디바이스에 E2E ASR 모델을 구현할 때 발생하는 주요 과제는 무엇이며, 생산 환경에서 어떻게 해결되었는가?
• RQ5 특히 길이 편향, 내성성, 모odularity 측면에서 E2E ASR의 열린 연구 과제는 무엇인가?

주요 결과

• E2E ASR 모델은 전통적 시스템 대비 단어 오류율(WER)을 50% 이상 감소시키며, LibriSpeech에서 최신 성능 기록.
• 생산 수준의 E2E ASR 시스템, 예를 들어 Pixel 6에 구현된 시스템는 컨포머 인코더, 2단계 빔 서치, 신경 언어 모델 재정렬을 활용해 뛰어난 정확도와 낮은 지연 시간을 달성.
• Pixel 4 및 5에 탑재된 온디바이스 E2E 모델은 CPU에서 실시간으로 작동하며, FastEmit 및 종단간 종료점 검출 기법을 통해 지연 시간을 줄였다.
• 높은 성능에도 불구하고 E2E 모델은 저자원 및 도메인 불일치 상황에서 어려움을 겪고 있어, 더 나은 데이터 효율성 기반 훈련 전략이 필요하다는 점을 시사.
• AED 모델에서의 길이 편향 문제는 여전히 지속적인 과제이며, 아직 완전히 기반 이론적 설명이나 해결책이 확립되지 않았다.
• 다중채널 환경에서의 통합 음향 분리, 화자 분리, ASR에 대해 E2E 모델은 강력한 잠재력을 보이며, 통합된 음성 처리 파이프라인으로의 길을 제시한다.