[논문 리뷰] The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition

Jonathan Mukiibi, Andrew Katumba외 3명|arXiv (Cornell University)|2022. 06. 20.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 아프리카의 저자원 언어를 위한 자동 음성 인식(ASR)을 발전시키기 위해 설계된 155시간 분량의 루간다 라디오 음성 데이터셋인 Makerere Radio Speech Corpus를 소개한다. 이는 아프리카 서부 이남 지역에서 공개된 첫 번째 라디오 데이터셋이다. 키냐르와다 ASR 모델을 루간다 Common Voice 및 라디오 데이터로 미세조정한 전이학습을 통해, 라디오 테스트 세트에서 47%의 WER를 달성하였고, 핫워드 부스팅을 사용하여 코로나19 키워드 검출의 F-score를 0.94로 높였다. 또한 음성 인식 결과에서 성별 편향이 심각하게 드러났다.

ABSTRACT

Building a usable radio monitoring automatic speech recognition (ASR) system is a challenging task for under-resourced languages and yet this is paramount in societies where radio is the main medium of public communication and discussions. Initial efforts by the United Nations in Uganda have proved how understanding the perceptions of rural people who are excluded from social media is important in national planning. However, these efforts are being challenged by the absence of transcribed speech datasets. In this paper, The Makerere Artificial Intelligence research lab releases a Luganda radio speech corpus of 155 hours. To our knowledge, this is the first publicly available radio dataset in sub-Saharan Africa. The paper describes the development of the voice corpus and presents baseline Luganda ASR performance results using Coqui STT toolkit, an open source speech recognition toolkit.

연구 동기 및 목표

• 루간다어는 동아프리카에 약 1,500만 명 이상이 사용하는 저자원 언어이지만, 아직도 음성 데이터셋이 부족한 상황이므로, 이를 보완하고자 한다.
• 우간다 및 아프리카 서부 이남 지역에서 라디오가 주요 대중 커뮤니케이션 수단이므로, 루간다어 전용 ASR 시스템을 개발하고자 한다.
• 정책적 의미가 있는 통찰을 도출하기 위해, 농촌 지역의 대중 논의를 자동으로 모니터링할 수 있도록 라디오 토크 쇼를 지원하고자 한다.
• 불균형한 음성 데이터로 훈련된 ASR 모델에서 성별 편향을 평가하고 완화하고자 한다. 특히, 대표성이 떨어지는 여성의 목소리에 대해 고려하고자 한다.
• 향후 저자원 언어의 음성 인식 및 아프리카어 NLP 연구를 지원하기 위해, 공개 가능한 대규모 라디오 음성 데이터셋을 제공하고자 한다.

제안 방법

• 다양한 출처에서 수집한 155시간의 루간다어 라디오 음성 자료(토론 프로그램, 뉴스, 전화 인터뷰 포함)를 정제하여 실제 방송 환경을 반영하고자 하였다.
• 사전 훈련된 키프리아 STT 기반의 키프리아다 ASR 모델을 루간다어 독서 음성(203시간, Common Voice에서 확보)과 라디오 데이터(120.7시간)로 미세조정하여 전이학습을 적용하였다.
• 순서 기반 모델링을 위해 강제 정렬 없이도 가능한 엔드 투 엔드 음성 인식을 위한 연결주의 시간 분류(CTC)를 적용하였다.
• 저자원, 노이즈가 많은 라디오 환경에서 특정 키워드(예: 'covid', 'kolona') 검출을 향상시키기 위해 핫워드 부스팅(HTWD-B)을 구현하였다.
• 모델 성능을 다양한 화자 성별에 따라 평가하기 위해, 미리 보지 못한 라디오 스튜디오 녹음자료에서 남성 14분, 여성 14분 분량의 성별 균형 테스트 세트를 구성하였다.
• 일반 및 키워드 기반 작업에 대해 각각 WER와 F-score 지표를 사용하여 ASR 성능을 평가하였으며, 전사 결과의 수동 검증도 실시하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 키프리아다 ASR 모델을 활용한 전이학습 접근법이, 저자원 언어인 루간다어에 대해 타당한 성능을 달성하는 데 효과적인가?
• RQ2 저자원 라디오 ASR 시스템에서 코로나19와 같은 공중보건 이슈에 대한 핵심 키워드 검출에 핫워드 부스팅이 얼마나 효과적인가?
• RQ3 훈련 데이터의 성별 불균형이 루간다어에서 남성과 여성의 음성에 대해 ASR 성능에 얼마나 큰 영향을 미치는가?
• RQ4 다양하고 실제적인 루간다어 라디오 테스트 세트에서 엔드 투 엔드 CTC 기반 ASR 모델의 성능은 어떠한가?
• RQ5 공개된 대규모 라디오 음성 데이터셋이 아프리카어의 자동 음성 인식 기술 발전에 크게 기여할 수 있는가?

주요 결과

• 루간다어 ASR 모델은 보류된 라디오 테스트 세트에서 47%의 단어 오류율(WER)을 기록하여, 실제 라디오 모니터링 응용에 대한 타당성을 입증하였다.
• 핫워드 부스팅을 통해 키워드 검출의 F-score가 0.89에서 0.94로 향상되었으며, 122개 파일로 구성된 테스트 세트에서 거짓 음성 감지(false negative) 수가 21개에서 14개로 감소하였다.
• 모델은 뚜렷한 성별 편향을 보였으며, 여성 음성에서는 WER가 70.6%로 남성 음성의 53.5%보다 높았으며, 이는 훈련 데이터에서 남성 비율이 81.9%로 압도적으로 높기 때문이다.
• Makerere Radio Speech Corpus—155시간 분량의 루간다어 라디오 음성 자료—는 공개되었으며, 아프리카 서부 이남 지역에서 첫 공개된 라디오 데이터셋으로서의 의미를 지닌다.
• 이 연구는 관련 언어(키프리아다)에서 사전 훈련된 모델을 활용한 전이학습과 도메인 특화 미세조정이, 타겟 언어 데이터가 제한된 상황에서도 기능성 있는 ASR 모델을 도출할 수 있음을 확인하였다.
• 결과적으로, 여성의 음성이 부족하게 포함된 데이터 수집 방식은 실제 운영 환경에서 성능 저하를 야기할 수 있음을 시사하며, 균형 잡힌 데이터 수집의 중요성을 강조한다.