[논문 리뷰] MediaSpeech: Multilanguage ASR Benchmark and Dataset

Rostislav Kolobov, Ольга Владимировна Охапкина외 6명|arXiv (Cornell University)|2021. 03. 30.

Speech Recognition and Synthesis참고 문헌 14인용 수 13

한 줄 요약

MediaSpeech는 스페인어, 프랑스어, 터키어, 아랍어를 포함하는 10시간 분량의 오픈소스 다국어 음성인식(ASR) 기준 데이터셋을 제공하며, 공식 유튜브 채널에서 수집된 자료를 바탕으로 수동으로 번역하여 약 5% 이내의 추정 WER를 확보하였다. 이 작업은 다양한 상용 및 오픈소스 ASR 시스템을 평가하고 각 언어별로 미세조정된 QuartzNet 기준 모델을 공개하여 다양한 미디어 콘텐츠에서 표준화된 다국어 ASR 평가를 가능하게 한다.

ABSTRACT

The performance of automated speech recognition (ASR) systems is well known to differ for varied application domains. At the same time, vendors and research groups typically report ASR quality results either for limited use simplistic domains (audiobooks, TED talks), or proprietary datasets. To fill this gap, we provide an open-source 10-hour ASR system evaluation dataset NTR MediaSpeech for 4 languages: Spanish, French, Turkish and Arabic. The dataset was collected from the official youtube channels of media in the respective languages, and manually transcribed. We estimate that the WER of the dataset is under 5%. We have benchmarked many ASR systems available both commercially and freely, and provide the benchmark results. We also open-source baseline QuartzNet models for each language.

연구 동기 및 목표

• 실세계 미디어 콘텐츠에서 다국어 ASR 기준 데이터셋이 부족한 문제를 해결하기 위해.
• 스페인어, 프랑스어, 터키어, 아랍어의 네 가지 주요 언어에서 ASR 시스템에 대한 표준화된 평가 데이터셋을 제공하기 위해.
• 음반, 테드 강연 등과 같은 비공식적이거나 단순한 데이터셋(예: 오디오북, TED 강연)에 의존하는 ASR 성능 평가를 줄이기 위해.
• 일관된 기준 평가를 위해 각 언어별로 미세조정된 오픈소스 QuartzNet 기준 모델을 제공하기 위해.
• 실세계 미디어 오디오에서 상용 및 오픈소스 ASR 시스템 간의 공정하고 재현 가능한 비교를 가능하게 하기 위해.

제안 방법

• 데이터셋인 MediaSpeech는 스페인어, 프랑스어, 터키어, 아랍어의 네 언어에서 운영하는 미디어 기관의 공식 유튜브 채널에서 수집되었다.
• 고품질의 번역 품질을 확보하기 위해 오디오 세그먼트를 수동으로 번역하였으며, 추정 WER는 5% 이내였다.
• 다양한 상용 및 오픈소스 ASR 시스템을 평가하여 기준 성능을 확립하였다.
• 네 언어 각각에 대해 MediaSpeech 데이터셋에 기반해 미세조정된 기준 QuartzNet 모델을 훈련시켜 표준화된 기준 모델로 제공하였다.
• 기준 평가에는 다양한 시스템 간의 WER 비교가 포함되어 있어 실세계 미디어 음성에서의 직접적인 성능 분석이 가능하다.
• 모든 데이터, 번역본, 훈련된 모델은 오픈소스로 공개되어 재현성과 향후 연구를 지원한다.

실험 결과

연구 질문

• RQ1 다양한 ASR 시스템의 성능은 실세계 다국어 오디오 데이터셋에서 어떻게 달라지나?
• RQ2 공식 유튜브 채널에서 수집한 다국어 미디어 음성 데이터셋에서 달성 가능한 단어오류율(WER)은 얼마인가?
• RQ3 오픈소스 및 상용 ASR 시스템은 비기술적, 미디어 영역의 음성에서 정확성과 내구성 측면에서 어떻게 비교되는가?
• RQ4 QuartzNet와 같은 표준 모델이 이 새로운 다국어 기준 데이터셋에 효과적으로 미세조정될 수 있는 정도는 어느 정도인가?
• RQ5 표준화되고 오픈소스이며 다양한 다국어 ASR 기준 데이터셋은 ASR 연구의 재현성과 공정성 향상에 기여할 수 있는가?

주요 결과

• MediaSpeech 데이터셋은 네 언어 전반에서 추정 WER가 5% 이내로 낮아 높은 번역 품질을 입증하였다.
• 다양한 상용 및 오픈소스 ASR 시스템이 데이터셋에서 평가되어 언어 간 포괄적인 성능 비교가 가능하였다.
• 네 언어 각각에 대해 성공적으로 훈련된 미세조정된 QuartzNet 모델이 공개되었으며, 신뢰할 수 있는 기준 모델로 기능하였다.
• 이 기준 평가를 통해 실세계 미디어 콘텐츠에서 ASR 시스템의 일관되고 재현 가능한 평가가 가능해졌으며, 합성 또는 제한된 도메인 데이터셋에 대한 의존도가 감소하였다.
• 데이터셋과 모델의 오픈소스화로 다국어 ASR 분야의 투명성, 재현성, 향후 연구 지원이 가능해졌다.
• 이 데이터셋은 다양한 억양, 말하기 스타일, 배경 소음을 포함하여 실세계 미디어 음성의 강력한 대표성을 보였다.