[논문 리뷰] end-to-end training of a large vocabulary end-to-end speech recognition system

Chanwoo Kim, Sung-Soo Kim외 11명|arXiv (Cornell University)|2019. 12. 22.

Speech Recognition and Synthesis참고 문헌 51인용 수 9

한 줄 요약

이 논문은 CPU-GPU 클러스터를 활용하여 실시간으로 데이터 증강을 수행하는 확장 가능한, 종단 간 스피치 인식 훈련 프레임워크를 제시한다. 보이스 트랙트 길이 변형(VTLP)과 음향 시뮬레이션을 활용한 데이터 증강 기법을 적용하여, BFA 모델에 얕은 융합을 적용한 결과, LibriSpeech test-clean에서 2.44% WER, 기업 내 비즈니스용 Bixby 데이터셋에서 7.92% WER를 달성하여 근거리 및 원거리 환경 모두에서 최신 기술 수준의 성능을 입증하였다.

ABSTRACT

In this paper, we present an end-to-end training framework for building state-of-the-art end-to-end speech recognition systems. Our training system utilizes a cluster of Central Processing Units(CPUs) and Graphics Processing Units (GPUs). The entire data reading, large scale data augmentation, neural network parameter updates are all performed "on-the-fly". We use vocal tract length perturbation [1] and an acoustic simulator [2] for data augmentation. The processed features and labels are sent to the GPU cluster. The Horovod allreduce approach is employed to train neural network parameters. We evaluated the effectiveness of our system on the standard Librispeech corpus [3] and the 10,000-hr anonymized Bixby English dataset. Our end-to-end speech recognition system built using this training infrastructure showed a 2.44 % WER on test-clean of the LibriSpeech test set after applying shallow fusion with a Transformer language model (LM). For the proprietary English Bixby open domain test set, we obtained a WER of 7.92 % using a Bidirectional Full Attention (BFA) end-to-end model after applying shallow fusion with an RNN-LM. When the monotonic chunckwise attention (MoCha) based approach is employed for streaming speech recognition, we obtained a WER of 9.95 % on the same Bixby open domain test set.

연구 동기 및 목표

• 대규모이고 다양한 스피치 데이터를 처리할 수 있는 확장 가능하고 분산된 종단 간 스피치 인식 훈련 시스템을 개발하는 것.
• 효과적인 데이터 증강 기법을 통해 원거리 및 소음 환경에서의 내성 강화를 도모하는 것.
• 표준 및 기업 전용 스피치 인식 벤치마크에서 최신 기술 수준의 단어 오류율(WER)을 달성하는 것.
• CPU-GPU 클러스터를 활용해 데이터 증강 및 모델 훈련을 효율적으로 실시간으로 처리할 수 있도록 하는 것.
• VTLP와 음향 시뮬레이션을 융합하여 화자 및 환경적 변동성에 대응하는 효과를 입증하는 것.

제안 방법

• 시스템은 CPU와 GPU의 클러스터를 사용하며, tf.data와 분할된 TFRecords를 활용한 예제 서버를 통해 실시간으로 데이터 처리, 증강 및 특징 추출을 수행한다.
• 보이스 트랙트 길이 변형(VTLP)은 화자 변동성을 시뮬레이션하기 위해 적용되며, 음향 시뮬레이터는 다양한 실내 인력 응답과 소음 조건을 갖춘 실제적인 원거리 음성 데이터를 생성한다.
• 신경망 파라미터는 Adam 최적화기를 사용하여 Horovod allreduce 프레임워크를 통해 업데이트되며, GPU 노드 간 효율적인 분산 훈련을 가능하게 한다.
• 훈련 중에 음향 시뮬레이션 파라미터를 사전 계산하지 않고 동적으로 생성함으로써 저장 공간 절감과 유연성 향상을 도모한다.
• 모델 디코딩 성능 향상을 위해 트랜스포머와 RNN 언어 모델을 활용한 얕은 융합 기법을 적용한다.
• 신호 강화를 위해 신경 기반 빔 포머(NBF)를 데이터 증강과 함께 사용하여 원거리 음성 인식 정확도를 추가로 향상시킨다.

(a)

실험 결과

연구 질문

• RQ1 분산 훈련과 실시간 데이터 증강을 활용한 완전한 종단 간 스피치 인식 시스템이 대규모이고 다양한 스피치 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 VTLP와 음향 시뮬레이션은 화자 변동성과 원거리 음향 조건에 대한 내성 강화에 얼마나 효과적인가?
• RQ3 고급 언어 모델과의 데이터 증강 융합이 단어 오류율 감소에 미치는 영향은 어떠한가?
• RQ4 원거리 및 오픈 도메인 환경에서 종단 간 모델의 성능은 기존의 WFST 기반 시스템과 비교해 어떻게 되는가?
• RQ5 동일한 증강된 훈련 데이터가 근거리 및 원거리 스피치 인식에 모두 효과적으로 활용될 수 있으며 성능 저하 없이 작동하는가?

주요 결과

• BFA 모델에 트랜스포머 언어 모델을 융합한 종단 간 시스템은 LibriSpeech test-clean 세트에서 2.44% WER를 달성하여 이전 최고 기록을 초월하였다.
• 기업 내 비즈니스용 Bixby 오픈 도메인 테스트 세트에서는 BFA 모델에 RNN-LM과 얕은 융합을 적용한 결과 7.92% WER를 기록하였으며, 기존 WFST 기반 시스템 대비 10% 상대적 향상률을 보였다.
• 스트리밍 추론 환경에서는 MoChA 기반 모델이 동일한 Bixby 테스트 세트에서 9.95% WER를 기록하여 실시간 제약 조건 하에서도 뛰어난 성능을 보였다.
• VTLP와 음향 시뮬레이션을 적용함으로써 원거리 조건에서의 인식 정확도가 크게 향상되었으며, 추가로 신경 기반 빔 포머(NBF)와 융합할 경우 추가적인 성능 향상이 이루어졌다.
• 실시간 데이터 처리 파이프라인은 청소된 데이터에서 높은 성능을 유지하면서도 소음과 반사에 대한 내성 강화를 실현하여, 다양한 환경에서의 유연성을 입증하였다.
• Horovod 기반 allreduce 훈련 프레임워크는 효율적인 분산 훈련을 가능하게 하여 다수 GPU 클러스터를 활용한 대규모 모델 최적화를 지원하였다.

(b)