[논문 리뷰] Google Crowdsourced Speech Corpora and Related Open-Source Resources for Low-Resource Languages and Dialects: An Overview

Alena Butryna, Shan-Hui Cathy Chu외 19명|arXiv (Cornell University)|2020. 10. 13.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 남아시아, 동남아시아, 아프리카, 유럽, 남아메리카 등지의 저자원 및 멸종 위험에 처한 언어들을 위해 공동체 기반의 캠패인을 통해 무료로 이용 가능한 오픈소스 음성 코퍼스를 구축하는 방법론을 제시한다. 지역 사회와 대학 기관과의 협력으로 총 38개 데이터셋에서 1,500시간 이상의 음성 데이터를 확보하여 고품질의 텍스트-음성 합성(TTS) 및 음성 인식(ASR) 시스템을 가능하게 했으며, 다국어 모델은 다양한 언어계열 간의 전이학습 잠재력을 보였다.

ABSTRACT

This paper presents an overview of a program designed to address the growing need for developing freely available speech resources for under-represented languages. At present we have released 38 datasets for building text-to-speech and automatic speech recognition applications for languages and dialects of South and Southeast Asia, Africa, Europe and South America. The paper describes the methodology used for developing such corpora and presents some of our findings that could benefit under-represented language communities.

연구 동기 및 목표

• 인터넷 사용 증가 추세이지만 언어 기술 접근성이 제한된 지역에서 저자원 및 멸종 위험에 처한 언어에 대한 음성 자원 부족 문제를 해결하기 위해.
• 지역 사회가 오픈소스 도구와 공개된 데이터셋을 활용해 맞춤형 음성 애플리케이션을 구축할 수 있도록 가용성과 재현 가능성이 높은 방법론을 개발하기 위해.
• 주로 사용되는 어원어와는 다를 수 있는 지역 방언을 대상으로 방언 전용 코퍼스를 구축하여, 기존의 주로 사용되는 어원어 기반 시스템보다 지역 사회에 더 잘 맞는 음성 기술을 제공하기 위해.
• 자동 음성 인식(ASR)과 텍스트-음성 합성(TTS) 애플리케이션을 동시에 지원하기 위해, 각각 다른 데이터 요구사항과 품질 기준을 충족시키기 위해.
• 자원을 무제한 라이선스로 공개하고 지역 사회 주도의 데이터 수집 및 언어 자원 개발을 장려함으로써 장기적인 지속 가능성을 확보하기 위해.

제안 방법

• 지역 대학 및 공동체와의 협력으로 현지 언어를 모국어로 사용하는 사람들로부터 음성 데이터를 공동체 기반의 캠페인 방식으로 수집하였다.
• 고품질의 음성과 언어적 다양성을 확보하기 위해 데이터 수집 프로토콜를 설계하였으며, 연령, 성별, 지역적 다양성에 따라 표적으로 선정된 어휘를 확보하였다.
• ASR와 TTS에 대한 이중적 초점을 두었으며, ASR는 다양한 억양을 가진 다수의 화자 데이터가 필요하고, TTS는 명확한 발음이 특징인 소수의 고품질 녹음이 필요하였다.
• 유사 언어계열의 음성 코퍼스를 결합하여 전이학습을 적용함으로써 저자원 언어의 성능 향상을 도모하였으며, 인도아리아어 및 드라비아니어 언어 간의 통합 코퍼스를 활용하였다.
• PHOIBLE와 같은 오픈소스 도구와 언어형태학적 자원을 통합하여 음운학적 분석을 지원하고 희귀한 언어 전문 지식 의존도를 낮추었다.
• 모든 데이터셋을 크리에이티브 커먼즈 라이선스 하에 공개하여 연구자 및 지역 개발자가 재사용, 변형, 확장할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 제한된 언어 기반 인프라를 가진 저자원 언어에 대해, 확장 가능하고 공동체 주도적인 공동체 기반의 캠페인 모델이 고품질 음성 코퍼스를 효과적으로 생산할 수 있는가?
• RQ2 유사 언어계열의 음성 코퍼스를 통합하여 훈련한 다국어 모델이, 훈련 세트에 포함되지 않은 저자원 대상 언어의 성능을 얼마나 향상시킬 수 있는가?
• RQ3 오픈소스 기반, 공동체가 적응 가능한 방법론을 어떻게 설계하여 현지 기술 전문가들이 자신의 언어를 위해 음성 기술을 개발하고 확장할 수 있도록 할 수 있는가?
• RQ4 언어형태학적 및 음운학적 자원은 저자원 언어 환경에서 음성 시스템 개발의 진입 장벽을 어떻게 낮추는가?
• RQ5 언어적 및 문화적 요인으로 인해 데이터 양과 화자 다양성이 제한된 상황에서 음성 코퍼스의 품질과 활용도를 어떻게 최적화할 수 있는가?

주요 결과

• 이 프로그램은 총 38개의 음성 코퍼스를 성공적으로 확보하고 공개하여, 남아시아, 동남아시아, 아프리카, 유럽, 남아메리카의 언어와 방언을 포함해 1,500시간 이상의 음성 데이터를 확보하였다.
• 통합된 인도아리아어 및 드라비아니어 코퍼스를 기반으로 훈련된 다국어 모델은 전이학습 능력을 보였으며, 오디아어나 펀자브어와 같이 직접 학습 데이터가 없는 저자원 언어에 대해서도 음성 합성 기능을 제공하였다.
• 다양한 언어에서 수집한 다수의 화자 음성 코퍼스를 통합함으로써 모델의 성능이 크게 향상되었으며, 초기 성능은 낮았지만 단일 언어 기반 모델 대비 뛰어난 성능을 보였다.
• 오픈소스 언어형태학적 자원인 PHOIBLE의 사용은 언어 분석 속도를 크게 향상시키고, 코퍼스 개발 과정에서 희귀한 전문 지식 의존도를 감소시켰다.
• 전이학습 기법을 통해 데이터가 제한되거나 품질이 다양할 경우에도 딥러닝 모델의 효과적인 적응이 가능했다.
• 이 프로그램의 방법론은 재현 가능하고 공동체 우호적이었으며, 지역 파artner가 데이터 수집 및 품질 확보에 핵심적인 역할을 하여 고품질이자 문화적으로 적합한 음성 데이터를 확보할 수 있었다.