[논문 리뷰] GigaSpeech: An Evolving, Multi-domain ASR Corpus with 10,000 Hours of Transcribed Audio

Guoguo Chen, Shuzhou Chai외 19명|arXiv (Cornell University)|2021. 06. 13.

Speech Recognition and Synthesis참고 문헌 17인용 수 20

한 줄 요약

이 논문은 청취자 서사 및 즉흥적 언어를 포함한 다양한 주제에 걸쳐 오디오북, 팟캐스트, 유튜브에서 수집한 고품질 음성 데이터 총 10,000시간을 포함한 대규모로 발전하는 다분야 영어 음성인식(ASR) 코퍼스인 GigaSpeech를 소개한다. 저자는 저품질 번역을 걸러내기 위해 새로운 강제 정렬 및 세그먼테이션 파이프라인을 제안하였으며, 이는 10시간에서 10,000시간까지의 훈련 서브셋을 0% 이내의 단어 오류율(WER)로 제공하며(단, XL은 4%로 제한됨) Kaldi, ESPnet, Athena, Pika 등의 주요 툴킷에서 기준 모델을 제공한다. 이 기준 모델은 테스트 세트에서 최소 10.80%의 WER을 기록한다.

ABSTRACT

This paper introduces GigaSpeech, an evolving, multi-domain English speech recognition corpus with 10,000 hours of high quality labeled audio suitable for supervised training, and 40,000 hours of total audio suitable for semi-supervised and unsupervised training. Around 40,000 hours of transcribed audio is first collected from audiobooks, podcasts and YouTube, covering both read and spontaneous speaking styles, and a variety of topics, such as arts, science, sports, etc. A new forced alignment and segmentation pipeline is proposed to create sentence segments suitable for speech recognition training, and to filter out segments with low-quality transcription. For system training, GigaSpeech provides five subsets of different sizes, 10h, 250h, 1000h, 2500h, and 10000h. For our 10,000-hour XL training subset, we cap the word error rate at 4% during the filtering/validation stage, and for all our other smaller training subsets, we cap it at 0%. The DEV and TEST evaluation sets, on the other hand, are re-processed by professional human transcribers to ensure high transcription quality. Baseline systems are provided for popular speech recognition toolkits, namely Athena, ESPnet, Kaldi and Pika.

연구 동기 및 목표

• 구식이거나 규모가 작은 코퍼스로 인해 ASR 성능 향상이 정체되고 있는 문제를 해결하기 위해 대규모로 발전하는 다분야 음성인식 데이터셋을 구축하기 위해.
• 다양한 오디오 소스에서 고품질로 분할된 음성인식 코퍼스를 체계적으로 생성하기 위한 확장 가능하고 신뢰할 수 있는 파이프라인을 개발하기 위해.
• 엄격한 번역 품질 제어를 통해 다양한 크기의 훈련 및 평가 서브셋(10시간에서 10,000시간)을 제공하여 강력한 모델 훈련과 기준 측정을 가능하게 하기 위해.
• 후처리를 위한 원본 및 정규화된 번역 쌍을 포함시켜 엔드 투 엔드 ASR 훈련을 지원하기 위해.
• Kaldi, ESPnet, Athena, Pika 등의 주요 ASR 툴킷 간 공정한 비교와 시스템 개발을 가능하게 하기 위해 재현 가능한 기준 모델을 제공하기 위해.

제안 방법

• 다양한 주제와 발화 스타일을 포함한 오디오북, 팟캐스트, 유튜브에서 약 40,000시간의 원시 오디오를 수집한다.
• 문장 수준의 오디오 세그먼트와 정렬된 번역을 생성하기 위해 새로운 강제 정렬 및 세그먼테이션 파이프라인을 적용한다.
• 단어 오류율 기준을 통해 저품질 세그먼트를 걸러내며, 모든 서브셋은 0% 이내이지만 XL 서브셋은 4%로 제한된다.
• XS에서 XL까지 다섯 개의 훈련 서브셋을 구성하며, 오디오 소스와 스타일에 비례하게 분포시킨다.
• DEV 및 TEST 세트를 전문 인명 번역가를 통해 재처리하여 높은 번역 정확도를 확보한다.
• 표준 아키텍처(예: 컨포머, RNN-T, 체인 모델)를 사용하여 Kaldi, ESPnet, Athena, Pika에서 표준화된 훈련 및 디코딩 프로토콜을 적용한 기준 모델을 제공한다.

Figure 1: A snip of the metadata file GigaSpeech.json

실험 결과

연구 질문

• RQ1 다양한 웹 소스에서 체계적으로 고품질 번역을 가진 대규모로 다분야이며 다양한 발화 스타일을 포함한 ASR 코퍼스를 구성할 수 있는가?
• RQ2 제안된 강제 정렬 및 세그먼테이션 파이프라인이 저품질 번역을 효과적으로 걸러내면서도 고품질 세그먼트는 유지하는가?
• RQ3 GigaSpeech와 같은 표준화된 고품질 대규모 코퍼스에서 훈련 데이터 크기가 증가함에 따라 모델 성능이 얼마나 향상되는가?
• RQ4 주요 ASR 툴킷 간 기준 시스템은 동일한 표준 평가 세트에서 어떻게 성능을 내며, 상대적인 WER은 무엇인가?
• RQ5 제안된 코퍼스와 파이프라인이 재현 가능한 기준 측정을 지원하고 엔드 투 엔드 ASR 연구의 진전을 촉진할 수 있는가?

주요 결과

• ESPnet의 컨포머/트랜스포머-AED 모델을 사용할 때 GigaSpeech XL 훈련 서브셋은 테스트 세트에서 10.80%의 단어 오류율(WER)을 기록하여 대규모 고품질 코퍼스에서 뛰어난 성능을 보였다.
• Kaldi의 체인 모델 기준은 XL 서브셋에서 14.84%의 WER을 기록하여 심지어 표준 아키텍처도 코퍼스의 규모와 품질에서 유의미한 이점을 얻는다는 것을 보여주었다.
• 더 큰 훈련 서브셋을 사용할수록 성능이 일관되게 향상됨: Kaldi 기준 WER은 XS(10시간)의 22.59%에서 XL(10,000시간)의 14.84%로 감소하여 데이터 규모의 이점이 확인되었다.
• Pika의 RNN-T 모델은 DEV 및 TEST 세트에서 모두 12.30%의 WER을 기록하여 XL 서브셋에서 강력한 일반화 능력을 보였다.
• Athena의 트랜스포머-AED 모델은 TEST 세트에서 12.70%의 WER을 기록하여 다양한 툴킷 간 경쟁력 있는 성능을 보였다.
• 평가 세트는 전문 인명 번역가에 의해 재처리되어 높은 번역 품질을 확보하였으며, 이는 신뢰할 수 있는 기준 측정을 가능하게 하였다.

Figure 2: A forced alignment graph for the sentence “ $<$ s $>$ A B C D E $<$ /s $>$ ” (4-gram)