[논문 리뷰] Where Are We At with Automatic Speech Recognition for the Bambara Language?

Seydou Diallo, Yacouba Diarra외 4명|arXiv (Cornell University)|2026. 02. 10.

Speech Recognition and Synthesis인용 수 0

한 줄 요약

이 논문은 표준화된 Bambara ASR 벤치마크를 처음으로 제시하고, 스튜디오 환경에서 37개 모델을 평가하며, 상위 시스템조차도 생성 표준에 뒤처져 WER 약 47%, CER 약 13%를 기록하고, 데이터 및 아키텍처의 격차를 부각한다.

ABSTRACT

This paper introduces the first standardized benchmark for evaluating Automatic Speech Recognition (ASR) in the Bambara language, utilizing one hour of professionally recorded Malian constitutional text. Designed as a controlled reference set under near-optimal acoustic and linguistic conditions, the benchmark was used to evaluate 37 models, ranging from Bambara-trained systems to large-scale commercial models. Our findings reveal that current ASR performance remains significantly below deployment standards in a narrow formal domain; the top-performing system in terms of Word Error Rate (WER) achieved 46.76\% and the best Character Error Rate (CER) of 13.00\% was set by another model, while several prominent multilingual models exceeded 100\% WER. These results suggest that multilingual pre-training and model scaling alone are insufficient for underrepresented languages. Furthermore, because this dataset represents a best-case scenario of the most simplified and formal form of spoken Bambara, these figures are yet to be tested against practical, real-world settings. We provide the benchmark and an accompanying public leaderboard to facilitate transparent evaluation and future research in Bambara speech technology.

연구 동기 및 목표

• 투명한 평가를 가능하게 하는 Bambara ASR를 위한 표준화된 벤치마크와 리더드를 제공합니다.
• 제어된 음향 조건에서 다양한 모델에 걸친 현재 Bambara ASR 성능을 정량화합니다.
• 성능을 제한하는 요인을 분석하고 저대표 언어 ASR 개선 방향을 식별합니다.
• Bambara의 데이터 수집, 모델 아키텍처, 평가 관행에 대한 시사점을 강조합니다.

제안 방법

• 거의 최적의 음향 조건에서 단일 남성 화자를 포함한 1시간 분량의 스튜디오 녹음 법령 텍스트 Bambara 말뭉치를 구성합니다.
• QA 후 492개의 음성 구간이 있는 깨끗한 벤치마크를 만들기 위해 오디오와 전사를 수동으로 분할하고 정렬합니다.
• 벤치마크에서 공개적으로 이용 가능한 37개의 ASR 모델(단일언어, Bambara 지원 다국어, 대규모 상용)을 평가합니다.
• WER 및 CER를 계산하고 Combined 점수를 0.5*WER + 0.5*CER로 도출합니다; 가중치를 조정할 수 있는 공개 리더보드를 제공합니다.
• 메트릭 가중치에 대한 정성적 오류 분석 및 민감도 검사를 제공합니다.

Figure 1: Models combined performance on Bambara Benchmark. Lower is better.

실험 결과

연구 질문

• RQ1 다양한 Bambara ASR 모델의 형식적이고 제어된 Bambara 벤치마크에서의 현재 성능은 어떠한가?
• RQ2 다국어 대규모 모델이 Bambara로 잘 전이되나요, 아니면 언어 특화 모델이 더 나은가?
• RQ3 거의 이상적 조건하에서 Bambara ASR 시스템은 생산 준비된 벤치마크에 얼마나 근접해 있는가?
• RQ4 Bambara 어형에 영향을 주는 주요 오류 패턴과 형태론적 도전은 무엇인가?
• RQ5 저대표 아프리카 언어의 데이터 수집 및 모델 설계에 대한 시사점은 무엇인가?

주요 결과

• 최고 모델은 WER 47.50%, CER 13.56%를 달성하고 Combined 점수는 29.73%이다.
• 대부분의 다국어 또는 범용(off-the-shelf) 모델은 성능이 저조하며(예: OpenAI Whisper 계열은 WER이 100%를 초과).
• 단일 언어 Bambara 중심 모델(예: Djelia 및 RobotsMali 변형)이 기본 버전과 많은 다국어 모델보다 현저히 우수하다.
• CER이 일반적으로 WER보다 우수한 경향을 보이며 Bambara 어형에서 음성 인식이 어휘 분절보다 음성학적 포착이 더 쉽다는 것을 시사한다.
• 벤치마크는 거의 최적의 음향 조건과 정식 도메인(말리 헌법)을 반영하므로 실제 환경에서의 성능은 잡음, 방언, 코드 스위치로 인해 더 나빠질 것으로 예상된다.