[논문 리뷰] Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition

Alex DiChristofano, Henry Shuster외 2명|arXiv (Cornell University)|2022. 08. 01.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 연구는 171개국에서 온 2,713명의 화자로 구성된 글로벌 데이터셋을 사용하여 주로 영어를 사용하는 음성 인식(ASR) 서비스를 감시 분석하였으며, 미국과 지정학적으로 거리가 먼 국가에서 온 화자들에 대해 성능이 뚜렷이 저하됨을 확인하였다. 이는 언어적 공변량을 보정한 후에도 여전히 나타나는 현상이다. 주요 발견은 화자 출신 국가의 정치적 동맹 관계와 관련된 통계적으로 유의미한 편향이 존재하며, 이는 언어의 복잡성 외에도 역사적 권력 구조에 뿌리를 두고 있는 체계적 차별을 시사한다.

ABSTRACT

Past research has identified discriminatory automatic speech recognition (ASR) performance as a function of the racial group and nationality of the speaker. In this paper, we expand the discussion beyond bias as a function of the individual national origin of the speaker to look for bias as a function of the geopolitical orientation of their nation of origin. We audit some of the most popular English language ASR services using a large and global data set of speech from The Speech Accent Archive, which includes over 2,700 speakers of English born in 171 different countries. We show that, even when controlling for multiple linguistic covariates, ASR service performance has a statistically significant relationship to the political alignment of the speaker's birth country with respect to the United States' geopolitical power. This holds for all ASR services tested. We discuss this bias in the context of the historical use of language to maintain global and political power.

연구 동기 및 목표

• 화자 출신 국가와 미국 간의 지정학적 관계에 따라 ASR 성능이 체계적으로 변하는지 조사하기 위해
• 다양한 글로벌 영어 억양을 포함한 대규모 다각도 데이터셋을 사용하여 주요 상업적 ASR 서비스를 감시하기 위해
• 첫 번째 언어나 억양 유형과 같은 언어적 공변량이 성능 격차를 충분히 설명하는지 검토하기 위해
• 관찰된 ASR 편향을 언어 기반 권력과 식민주의의 역사적 패턴 속에서 맥락화하기 위해
• ASR 편향이 단지 데이터 수집만으로 시간이 지남에 따라 해결된다는 가정을 도전하기 위해

제안 방법

• 연구는 171개국에서 온 2,700명 이상의 화자로 구성된 공개 데이터셋인 The Speech Accent Archive를 사용한다. 각 화자는 음성 기록과 인구통계학적 메타데이터를 제공한다.
• ASR 서비스(예: Google, Microsoft, Amazon, IBM)는 각 화자의 오디오에 대해 단어 오류율(WER)을 평가한다.
• 언어적 공변량인 첫 번째 언어, L1 음운적 강조 여부, L1 영어 능력 수준을 제어하는 통계 모델링을 수행한다.
• 지정학적 동맹은 NATO 가입 여부와 역사적 미국 외교 정책 동맹 관계를 기반으로 측정되며, 중립적이거나 적대적인 국가들은 미국의 영향력에서 떨어진 것으로 코드화된다.
• 다중 회귀 모델을 통해 지정학적 거리와 ASR WER 간의 관계를 분석하며, 언어적 및 인구통계적 요인을 보정한다.
• 강건성 검증과 사후 분석을 통해 다양한 ASR 제공업체와 화자 집단 간에 지정학적 영향의 일관성을 검증한다.

실험 결과

연구 질문

• RQ1 화자 출신 국가의 출생지와 미국 간의 지정학적 관계에 따라 ASR 성능이 달라지는가?
• RQ2 첫 번째 언어나 음운적 L1 등 언어적 공변량이 ASR 시스템의 성능 격차를 얼마나 설명하는가?
• RQ3 관찰된 성능 격차는 여러 상업적 ASR 서비스 간에 일관되게 나타나는가?
• RQ4 영어가 식민주의 및 글로벌 권력의 도구로 사용된 역사적 배경이 현재의 ASR 편향과 어떻게 관련되는가?
• RQ5 관찰된 편향은 데이터 부족 때문인지, 아니면 언어와 권력의 더 깊은 체계적 불평등에 뿌리를 두고 있는가?

주요 결과

• 모든 테스트된 ASR 서비스에서 미국과 지정학적으로 거리가 먼 국가에서 온 화자들에 대해 언어적 요인을 보정한 후에도 단어 오류율(WER)이 유의미하게 높게 나타났다.
• 특히 NATO에 가입하지 않은 국가, 특히 미국의 적대국과 역사적으로 동맹을 맺은 국가에서 온 화자들은 NATO 동맹국에서 온 화자들보다 항상 더 열 劣한 ASR 성능을 보였다.
• 첫 번째 언어, 음운적 L1, L1 영어 능력 수준을 보정한 후에도 성능 격차가 유지되어 언어의 복잡성만으로는 격차를 설명할 수 없다는 것이 확인되었다.
• 연구는 ASR 편향이 단지 데이터 수집만으로 시간이 지나면 자연스럽게 해결된다는 증거를 발견하지 못했으며, 기존의 불균형한 훈련 데이터에 기반한 피드백 루프가 이러한 불평등을 강화함을 시사한다.
• 결과적으로 ASR 편향은 단지 데이터 불균형이라는 기술적 문제를 넘어서 역사적이고 지정학적 권력 구조와 체계적으로 연결되어 있음을 시사한다.
• 이러한 발견은 향후 데이터 수집만으로 ASR 격차가 자연스럽게 해결될 것이라는 기술적 낙관주의를 도전하며, 알고리즘 편향의 구조적이고 정치적 차원을 강조한다.