[논문 리뷰] OkwuGbé: End-to-End Speech Recognition for Fon and Igbo

Bonaventure F. P. Dossou, Chris Chinenye Emezue|arXiv (Cornell University)|2021. 03. 13.

Speech Recognition and Synthesis참고 문헌 51인용 수 4

한 줄 요약

이 논문은 Fon과 Igbo 언어를 위한 엔드 투 엔드 음성 인식 모델을 제안하며, Word2Vec 및 Poincaré 단어 임베딩을 사용하여 아프리카어의 의미적이고 계층적인 관계를 포착함을 보여준다. 주요 결과로는 언어 간 60–62%의 전이 학습 정확도와 피취한 토론을 통한 편향 완화 증거가 있으며, 자원이 적은 아프리카어의 자연어 처리(NLP)를 발전시킨다.

ABSTRACT

Language is inherent and compulsory for human communication. Whether expressed in a written or spoken way, it ensures understanding between people of the same and different regions. With the growing awareness and effort to include more low-resourced languages in NLP research, African languages have recently been a major subject of research in machine translation, and other text-based areas of NLP. However, there is still very little comparable research in speech recognition for African languages. Interestingly, some of the unique properties of African languages affecting NLP, like their diacritical and tonal complexities, have a major root in their speech, suggesting that careful speech interpretation could provide more intuition on how to deal with the linguistic complexities of African languages for text-based NLP. OkwuGbé is a step towards building speech recognition systems for African low-resourced languages. Using Fon and Igbo as our case study, we conduct a comprehensive linguistic analysis of each language and describe the creation of end-to-end, deep neural network-based speech recognition models for both languages. We present a state-of-art ASR model for Fon, as well as benchmark ASR model results for Igbo. Our linguistic analyses (for Fon and Igbo) provide valuable insights and guidance into the creation of speech recognition models for other African low-resourced languages, as well as guide future NLP research for Fon and Igbo. The Fon and Igbo models source code have been made publicly available.

연구 동기 및 목표

• 아프리카 자국어(AILs), 특히 Fon과 Nobiin에 특화된 단어 임베딩 모델을 개발하기 위해.
• Poincaré 임베딩이 자원이 적은 언어에서 계층적인 언어적 구조를 효과적으로 모델링할 수 있는지 조사하기 위해.
• 이름 있는 실체 인식 작업을 위한 Fon과 Nobiin 임베딩 간의 전이 학습 성능을 평가하기 위해.
• 단어 임베딩 내에 존재하는 언어적 및 사회적 편향을 탐색하고, 이를 완화하기 위한 전략을 제안하기 위해.
• 아프리카어의 언어별 NLP 자원을 촉진하여 후속 작업의 성능을 향상시키기 위해.

제안 방법

• 연속 스킵그램 아키텍처와 음성 샘플링을 사용하여 대규모 단일어 문장어 코퍼스에서 Fon과 Nobiin의 Word2Vec 모델을 훈련시켰다.
• 초등 기하학을 활용하여 나무 구조 데이터에 적합한 하이퍼볼릭 기하학을 이용해 단어 표현의 계층적 관계를 모델링하기 위해 Poincaré 임베딩을 적용했다.
• 차원 크기(d=10 for Nobiin, d=50 for Fon)와 음성 곡률(c=15, 20)을 포함한 하이퍼파라미터를 최적화했다.
• 분류 보고서와 전역 정확도를 사용하여 Fon Poincaré 모델을 Nobiin 이름 인식 데이터셋에, 반대로 Nobiin Poincaré 모델을 Fon 이름 인식 데이터셋에 테스트하여 전이 학습을 평가했다.
• 맥락 창 내에서 예측된 단어와 목표 단어 간의 최대 거리를 조정하여 임베딩의 성별 편향을 완화했다.
• 어휘 군집을 시각화하여 의미적 군집과 편향 패턴을 분석하였으며, 특히 성별 역할과 주방일 처리 용어 주변에서의 패턴을 중심으로 분석했다.

실험 결과

연구 질문

• RQ1 Poincaré 임베딩은 자원이 적은 아프리카어인 Fon과 Nobiin과 같이 의미적이고 계층적인 관계를 효과적으로 모델링할 수 있는가?
• RQ2 한 아프리카어에서 사전에 훈련된 단어 임베딩이 다른 언어의 이름 있는 실체 인식 성능을 향상시키는 데 얼마나 효과적인가?
• RQ3 기존 사회적 편향이 아프리카어 코퍼스에서 훈련된 단어 임베딩에 어떻게 나타나며, 이를 완화할 수 있는가?
• RQ4 Word2Vec 및 Poincaré 임베딩은 Fon과 Nobiin에서 의미 유사성과 문법적 관계를 얼마나 잘 포착하는가?
• RQ5 언어적 차이가 있음에도 불구하고 Fon과 Nobiin 임베딩 간의 전이 학습이 후속 NLP 작업에서 의미 있는 향상을 이끌 수 있는가?

주요 결과

• Fon Poincaré 모델은 Nobiin 이름 인식 데이터셋에 대해 60%의 전역 정확도를 달성하여 효과적인 다국어 간 전이가 가능함을 시사한다.
• Nobiin Poincaré 모델은 Fon 이름 인식 데이터셋에 대해 62%의 전역 정확도를 달성하여 双방향 전이 능력을 입증한다.
• 음성 곡률 c=20, 차원 d=10을 가진 Poincaré 임베딩이 Nobiin에서 최고의 성능을 보였으며, 분류 과정에서 50%의 전역 정확도를 기록했다.
• Word2Vec 모델은 성별 편향을 드러내었으며, '모성'과 가까이 뭉쳐 '바닥 닦기', '세탁' 등의 주방일 용어가 군집화되어 사회적 고정관념을 반영한다.
• 맥락 창 내 최대 거리를 조정하여 편향을 완화함으로써 '어머니'가 '아버지', '언니', '오빠'와 더 잘 군집화되는 결과를 얻었다.
• 이 연구는 아프리카어 코퍼스에서 훈련된 단어 임베딩가 기존 사회적 편향을 반영함을 확인하였으며, NLP 모델에서 편향 완화의 필요성을 강조한다.