[논문 리뷰] ESB: A Benchmark For Multi-Domain End-to-End Speech Recognition

Sanchit Gandhi, Patrick von Platen외 1명|arXiv (Cornell University)|2022. 10. 24.

Speech Recognition and Synthesis인용 수 13

한 줄 요약

이 논문은 단일 자동 음성 인식(ASR) 시스템이 데이터셋에 특화된 튜닝 없이 다양한 데이터셋을 통해 평가할 수 있는 다중 도메인 평가 프레임워크인 엔드투엔드 음성 벤치마크(ESB)를 소개한다. 공정한 평가 조건에서 11개의 다양한 데이터셋을 대상으로 평가했을 때, 최첨단 엔드투엔드 모델들이 도메인 튜닝된 최첨단(SoTA) 시스템과 2.6% 이내의 단어 오류율(WER)을 기록함으로써, 평가 시 문장 부호 및 대문자/소문자 표기와 같은 전사 자료를 유지하는 것이 중요하다는 점을 입증한다.

ABSTRACT

Speech recognition applications cover a range of different audio and text distributions, with different speaking styles, background noise, transcription punctuation and character casing. However, many speech recognition systems require dataset-specific tuning (audio filtering, punctuation removal and normalisation of casing), therefore assuming a-priori knowledge of both the audio and text distributions. This tuning requirement can lead to systems failing to generalise to other datasets and domains. To promote the development of multi-domain speech systems, we introduce the End-to-end Speech Benchmark (ESB) for evaluating the performance of a single automatic speech recognition (ASR) system across a broad set of speech datasets. Benchmarked systems must use the same data pre- and post-processing algorithm across datasets - assuming the audio and text data distributions are a-priori unknown. We compare a series of state-of-the-art (SoTA) end-to-end (E2E) systems on this benchmark, demonstrating how a single speech system can be applied and evaluated on a wide range of data distributions. We find E2E systems to be effective across datasets: in a fair comparison, E2E systems achieve within 2.6% of SoTA systems tuned to a specific dataset. Our analysis reveals that transcription artefacts, such as punctuation and casing, pose difficulties for ASR systems and should be included in evaluation. We believe E2E benchmarking over a range of datasets promotes the research of multi-domain speech recognition systems. ESB is available at https://huggingface.co/esb.

연구 동기 및 목표

• 다양한 도메인에서 데이터셋에 특화된 튜닝 없이도 잘 작동하는 일반화 가능한 음성 인식 시스템의 부족을 해결하기 위해.
• 다양하고 실제 세계의 데이터셋을 포함한 표준화된 벤치마크를 만들음으로써 다중 도메인, 일반 목적의 ASR 연구를 촉진하기 위해.
• 음성 및 전사 자료의 분포가 다양한 조건(문장 부호 및 대문자/소문자 포함)에서도 엔드투엔드 ASR 시스템의 강건성 평가하기 위해.
• 공정하고 통합된 전처리 및 후처리 조건 하에서 E2E 모델이 다양한 도메인에서 최첨단 성능에 근접한 성능을 달성할 수 있음을 입증하기 위해.
• 실제 세계의 음성 인식 과제를 반영하기 위해 평가 시 전사 자료(문장 부호, 대문자/소문자)를 포함할 것을 주장하기 위해.

제안 방법

• ESB 벤치마크는 여러 도메인(예: LibriSpeech, Common Voice, TED-LIUM, AMI, SwitchBoard)에 걸친 11개의 기존 공개 음성 데이터셋을 대상으로 단일 ASR 시스템의 성능을 평가한다.
• 모든 시스템은 모든 데이터셋에서 동일한 모델 아키텍처와 동일한 전처리 및 후처리 파이프라인을 사용해야 하며, 사전에 데이터 분포에 대한 지식이 없어야 한다.
• 벤치마크는 필수 및 선택적 데이터셋을 포함하며, 최종 평가에는 테스트 세트, 개발에는 검증 세트가 사용된다.
• 동일한 조건에서 평가하기 위해 최첨단 엔드투엔드 ASR 모델 다섯 종류(wav2vec 2.0, Whisper, Conformer, AED, RNN-T)가 평가된다.
• 평가에는 철자 기반 단어 오류율(WER)을 사용하며, 문장 부호, 대문자/소문자, 전체 정규화의 영향을 분석하기 위한 아블레이션 연구가 포함된다.
• 벤치마크는 https://huggingface.co/esb 에서 Hugging Face에 호스팅되어 있어 개방 과학과 재현 가능성을 지원한다.

실험 결과

연구 질문

• RQ1 데이터셋에 특화된 튜닝 없이도 단일 엔드투엔드 ASR 시스템이 다양한 실제 세계의 음성 인식 도메인에서 뛰어난 성능을 낼 수 있는가?
• RQ2 문장 부호 및 대문자/소문자와 같은 전사 자료는 ASR 성능에 어떤 영향을 미치며, 평가 시 유지되어야 하는가?
• RQ3 최첨단 엔드투엔드 모델이 음성 및 텍스트 분포가 다양한 데이터셋 간에서 얼마나 잘 일반화되는가?
• RQ4 공정한 조건에서 평가했을 때 통합된 시스템의 성능은 도메인 튜닝된 최첨단 시스템과 비교해 어떻게 되는가?
• RQ5 실제 평가 환경에서 후처리(예: 문장 부호 또는 대문자/소문자 제거)가 WER에 어떤 영향을 미치는가?

주요 결과

• 공정하고 통합된 조건에서 평가했을 때, 엔드투엔드 ASR 시스템은 도메인 튜닝된 최첨단 시스템과 2.6% 이내의 상대적 WER를 기록한다.
• 전사에 문장 부호와 대문자/소문자를 포함시키면 WER가 크게 증가하여, 이러한 자료가 ASR 시스템에 비현실적이지 않은 도전 과제임을 시사한다.
• LibriSpeech test-clean 세트에서 가장 성능이 뛰어난 모델(RNN-T)은 후처리 없이도 WER 2.0%를 기록하여 강력한 제로샷 일반화 능력을 보였다.
• Common Voice 데이터셋에서는 전체 정규화(문장 부호 및 대문자/소문자 제거)로 WER가 26.1%에서 9.7%로 감소하여, 정규화가 성능 향상에 기여하지만 실제 환경 조건을 반영하지는 않음을 보여주었다.
• AMI 미팅 코퍼스에서는 전체 정규화로 WER가 32.0%에서 10.2%로 감소하여, 복잡하고 비공식적인 대화 환경에서 전사 자료의 영향력이 크다는 점을 입증하였다.
• ESB 벤치마크는 정규화된 청소년 데이터로 훈련된 시스템가 실제 철자 기반 전사 자료를 다룰 때 어려움을 겪는다는 점을 드러내었으며, 평가에서 전사 자료의 오류에 대한 강건성을 확보할 필요성이 있음을 강조한다.