[논문 리뷰] Earnings-22: A Practical Benchmark for Accents in the Wild

Miguel del Río, Peter Ha외 3명|arXiv (Cornell University)|2022. 03. 29.

Natural Language Processing Techniques인용 수 4

한 줄 요약

Earnings-22는 전 세계 영어 어휘의 수익 보고회를 대상으로 119시간 분량의 무료 사용 가능한 벤치마크를 제공하며, 7개의 지역 발음 방식을 포함하여 실제 음성 발음에 대한 ASR 모델 성능을 평가한다. 연구는 특히 아시아, 기타 라틴어권, 스페인어/포르투갈어권 지역에서 통계적으로 유의미한 WER 격차를 드러내며, 전체적으로 WER 향상에도 불구하고 상용 ASR 시스템에서 여전히 지속되는 편향을 보여준다.

ABSTRACT

Modern automatic speech recognition (ASR) systems have achieved superhuman Word Error Rate (WER) on many common corpora despite lacking adequate performance on speech in the wild. Beyond that, there is a lack of real-world, accented corpora to properly benchmark academic and commercial models. To ensure this type of speech is represented in ASR benchmarking, we present Earnings-22, a 125 file, 119 hour corpus of English-language earnings calls gathered from global companies. We run a comparison across 4 commercial models showing the variation in performance when taking country of origin into consideration. Looking at hypothesis transcriptions, we explore errors common to all ASR systems tested. By examining Individual Word Error Rate (IWER), we find that key speech features impact model performance more for certain accents than others. Earnings-22 provides a free-to-use benchmark of real-world, accented audio to bridge academic and industrial research.

연구 동기 및 목표

• ASR 시스템을 평가하기 위한 실제 음성 발음 자료의 부족을 해결하기 위해.
• 글로벌 기업의 실제 음성 발음 영어 발화를 대상으로 상용 ASR 모델의 성능을 평가하기 위해.
• WER 및 IWER 메트릭을 사용하여 지역 발음 간의 체계적인 성능 격차를 규명하기 위해.
• 채움말과 단어 조각과 같은 특정 텍스트 특징이 다양한 발음에서 ASR 오류율에 미치는 영향을 분석하기 위해.
• 공개 가능한 다양한 데이터셋을 통해 현재 모델의 편향을 폭 드러내어 공정한 ASR 개발을 촉진하기 위해.

제안 방법

• 27개 국가의 125개 수익 보고회를 수집하여, 기업 본사 위치 기반으로 7개의 지역 발음 그룹으로 분류.
• 인간의 편집을 통한 고품질 원문 텍스트 생성 및 후속 검증, NER 태깅 수행.
• 메타데이터 및 토큰화를 포함한 표준화된 \.nlp$ 형식으로 변환.
• IWER를 다양한 발음 지역 및 텍스트 특징 간 비교하기 위해 몬테카를로 순열 검정 적용.
• WER 및 IWER를 사용하여 지역 간 및 채움말, 단어 조각과 같은 언어적 특징 간의 모델 성능 격차 측정.
• 언어적 및 지리적 그룹화를 기반으로 지역을 정의하며, 나이지리아어 및 가나어와 같은 저소외 발음에 특별한 주의를 기울임.

실험 결과

연구 질문

• RQ1 상용 ASR 모델은 실제 수익 보고회에서 다양한 지역 발음에서 어떻게 성능을 발휘하는가?
• RQ2 발음 간 성능 격차는 통계적으로 유의미한가, 아니면 무작위 변동 때문인가?
• RQ3 채움말이나 단어 조각과 같은 텍스트 특징 중 어떤 것이 다양한 발음에서 ASR 오류율에 가장 크게 영향을 미치는가?
• RQ4 모델 오류는 특정 지역 발음의 언어적 또는 음성적 특성과 어느 정도 상관관계가 있는가?
• RQ5 공개 가능한 다양한 발음 자료 코퍼스는 현재 ASR 시스템의 편향 탐지 및 완화에 기여할 수 있는가?

주요 결과

• 아시아 지역은 영어 지역과 비교해 유의미한 WER 차이를 보였으며, 유의수준 0.005에서 통계적으로 유의미하여 심각한 성능 저하를 나타낸다.
• 기타 라틴어권 및 스페인어/포르투갈어권 지역도 영어 지역과 비교해 유의미한 WER 차이를 보였으며, 유의수준 0.05에서 통계적으로 유의미하다.
• 모든 지역에서 단어 조각이 IWER에 강한 영향을 미쳤으며, 모든 경우에서 p값이 0.000∗∗로 높은 통계적 유의성을 보였다.
• 채움말은 대부분의 지역에서 IWER에 영향을 미쳤으며, 이는 이전 연구에서 이러한 영향이 없음을 발견한 바와 정반대되며, 지역 간 휴지 생산 방식의 다양성이 모델 인식에 영향을 준다는 것을 시사한다.
• 영어 및 게르만어 지역에서는 채움말 이전의 단어에서 모델 성능이 떨어졌지만, 아시아 지역에서는 채움말 이전의 단어에서 성능이 향상되어 지역별로 모델의 혼동 패tern이 다름을 나타낸다.
• 모델이 단어 조각을 인식하는 능력은 모든 지역에서 일관되게 열악했으며, p값이 0.000∗∗로 지속적인 오류 패턴을 보였다.