[논문 리뷰] Deep Speech 2: End-to-End Speech Recognition in English and Mandarin

Dario Amodei, Rishita Anubhai외 32명|arXiv (Cornell University)|2015. 12. 08.

Speech Recognition and Synthesis참고 문헌 51인용 수 2,175

한 줄 요약

Deep Speech 2는 영어와 만다린(중국어) ASR에 대한 엔드투엔드 딥러닝을 입증하여 대규모 데이터와 HPC-가속 학습으로 경쟁력 있는 정확도를 달성하고, 낮은 지연으로 온라인 배포가 가능한 상태를 보여준다.

ABSTRACT

We show that an end-to-end deep learning approach can be used to recognize either English or Mandarin Chinese speech--two vastly different languages. Because it replaces entire pipelines of hand-engineered components with neural networks, end-to-end learning allows us to handle a diverse variety of speech including noisy environments, accents and different languages. Key to our approach is our application of HPC techniques, resulting in a 7x speedup over our previous system. Because of this efficiency, experiments that previously took weeks now run in days. This enables us to iterate more quickly to identify superior architectures and algorithms. As a result, in several cases, our system is competitive with the transcription of human workers when benchmarked on standard datasets. Finally, using a technique called Batch Dispatch with GPUs in the data center, we show that our system can be inexpensively deployed in an online setting, delivering low latency when serving users at scale.

연구 동기 및 목표

• 언어별 엔지니어링을 최소화하면서 영어와 만다린(중국어) 모두에서 작동하는 엔드투엔드 ASR을 입증한다.
• 정확도 향상을 위한 심층 구조(합성곱 계층과 순환 계층) 및 학습 기법을 조사한다.
• 대규모 라벨링 데이터와 HPC 최적화를 활용하여 빠른 실험 및 모델 배치를 가능하게 한다.
• 표준 벤치마크 및 인간 전사를 기준으로 성능을 평가하고 생산 배포 고려사항을 탐구한다.

제안 방법

• 스펙트로그램 입력을 자모(그레이펌) 출력으로 매핑하기 위해 엔드투엔드 RNN-CTC 프레임워크를 사용한다.
• 다중 합성곱 및 양방향 순환 계층으로 구성된 아키텍처를 탐구하며, 심층 RNN용 배치 정규화를 포함한다.
• 가변 길이 발화에서 학습을 안정시키기 위해 커리큘럼 기반의 SortaGrad 학습 전략을 적용한다.
• 정확도와 학습 효율 간의 균형을 위해 GRU 셀과 간단한 RNN 셀을 비교 실험한다.
• 주파수-시간 합성곱과 스트라이딩을 도입하여 시간 스텝 수와 연산을 줄인다.
• 저지연 온라인 디코딩과 BatchNorm 활용 배포 전략을 위해 단방향 row-convolution을 도입한다.

실험 결과

연구 질문

• RQ1 CTC로 학습된 엔드투엔드 딥 네트워크가 수작업으로 설계된 구성요소 없이 영어와 만다린에서 경쟁력 있는 WER/CER를 달성할 수 있는가?
• RQ2 네트워크 깊이, 합성곱 전략, 순환 단위 유형이 영어와 중국어의 인식 정확도에 어떤 영향을 미치는가?
• RQ3 이러한 모델을 현실적인 시간 내에 학습시키기 위해 필요한 데이터 규모와 HPC 최적화는 무엇인가?
• RQ4 대규모에서 저지연 온라인 인식을 가능하게 하는 배치 디스패치, 단방향 모델 등의 배포 전략은 무엇인가?

주요 결과

• 영어 WER이 여러 벤치마크에서 이전 엔드투엔드 시스템 대비 최대 43% 감소했다.
• 영어 학습 데이터 11,940시간 및 만다린 데이터 9,400시간을 사용하여 대규모 심층 모델을 학습했다.
• 16개의 GPU에서 약 50 teraFLOP/s의 학습을 지속하며, 3–5일 실험과 빠른 반복을 가능하게 한다.
• 시퀀스-와이즈 통계치를 이용한 배치 정규화가 심층 RNN의 학습 가속화 및 일반화 향상에 기여한다.
• GRU 셀이 간단한 RNN보다 더 나은 성능을 보이지만, 매우 큰 모델의 경우 고정된 컴퓨트 예산하에서 간단한 RNN이 경쟁력 있을 수 있다.
• BatchNorm 및 row-convolution을 활용한 만다린 배포는 낮은 지연을 달성하며(상위 98퍼센타일 산출 지연 67 ms, 동시 스트림 10개).
• 영어 및 만다린에 대해 라벨링된 데이터의 효과적 규모화를 위해 데이터 증강 및 합성을 사용한다.