[논문 리뷰] Speech Resources in the Tamasheq Language

Marcely Zanon Boito, Fethi Bougares외 5명|arXiv (Cornell University)|2022. 01. 13.

Speech Recognition and Synthesis인용 수 12

한 줄 요약

이 논문은 말리와 니제르에서 사용되는 저자원 베르베르어인 타마슈크어를 위한 두 가지 새로운 음성 자료를 소개한다: 671시간 분량의 다국어 음성 코퍼스(타마슈크어 224시간 포함)와 문장 수준 번역이 포함된 17시간 분량의 타마슈크어-프랑스어 병렬 음성 번역 코퍼스. 이 자료들은 CC BY-NC-ND 3.0 라이선스 하에 공개되며, 다양한 실제 뉘앙스의 뉴스 방송 데이터를 활용한 저자원 음성 번역 연구를 촉진하기 위해 설계되었다. 이는 아프리카 여러 언어에 걸쳐 실제 응용에 적합한 모델의 훈련과 벤치마킹을 가능하게 한다.

ABSTRACT

In this paper we present two datasets for Tamasheq, a developing language mainly spoken in Mali and Niger. These two datasets were made available for the IWSLT 2022 low-resource speech translation track, and they consist of collections of radio recordings from daily broadcast news in Niger (Studio Kalangou) and Mali (Studio Tamani). We share (i) a massive amount of unlabeled audio data (671 hours) in five languages: French from Niger, Fulfulde, Hausa, Tamasheq and Zarma, and (ii) a smaller 17 hours parallel corpus of audio recordings in Tamasheq, with utterance-level translations in the French language. All this data is shared under the Creative Commons BY-NC-ND 3.0 license. We hope these resources will inspire the speech community to develop and benchmark models using the Tamasheq language.

연구 동기 및 목표

• 말리와 니제르에서 사용되는 타루그어의 일종인 타마슈크어와 같은 저자원 언어에 대해 애너테이션된 음성 자료의 부족 문제를 해결하기 위해
• 고품질의 실제 뉴스 방송 녹음 자료를 제공하여 저자원 음성 인식 및 음성 번역 시스템 개발을 지원하기 위해
• 지리적으로 함께 발생하는 언어들(예: 프랑스어, 하우사어, 풀풀레어, 자르마어)의 다국어 비라벨링 음성 데이터를 활용하여 타마슈크어 모델 성능을 향상시키는 연구를 가능하게 하기 위해
• 실제적이고 다양한 지역적 특성을 반영한 데이터를 사용하여 IWSLT 2022 저자원 음성 번역 트랙에서의 벤치마킹을 촉진하기 위해

제안 방법

• 음성 자료는 지역 라디오 방송국에서 제작한 일상 뉴스 프로그램에서 수집되었으며, Fondation Hirondelle의 허가를 받아 니제르의 Studio Kalangou와 말리의 Studio Tamani에서 확보하였다.
• 17시간 분량의 병렬 타마슈크어-프랑스어 코퍼스는 원어민 타마슈크어 어휘자들이 수동으로 번역한 후, 숙련된 프랑스어 어휘자들이 후속 편집을 수행하였으며, Transcriber 도구를 사용해 애너테이션을 수행하였다.
• 다국어 음성 코퍼스에는 타마슈크어 224시간, 니제르 기반의 다른 언어(프랑스어, 풀풀레어, 하우사어, 자르마어) 417시간이 포함되었으며, 웹 크롤링을 통해 확보한 라디오 방송 .mp3 파일들에서 편집되었다.
• 음성 인식 및 번역 모델은 타마슈크어 자료를 기반으로 자기지도 학습(예: wav2vec2.0) 및 전이 학습 기법을 사용해 미세조정되었다.
• 모든 자료는 음성 품질을 고려하여 배경 잡음과 겹치는 말을 최소화하고, 일부 문장에 성별 애너테이션을 포함하여 정제되었다.
• 모든 자료는 오픈 연구 및 모델 개발을 장려하기 위해 Creative Commons BY-NC-ND 3.0 라이선스 하에 공개되었다.

실험 결과

연구 질문

• RQ1 다양한 아프리카어(타마슈크어 포함)를 대상으로 한 다국어 자기지도 학습 미세조정이 저자원 음성 번역 성능을 향상시킬 수 있는가?
• RQ2 동일한 지리적 지역에서 확보한 비라벨링 다국어 음성 데이터를 얼마나 효과적으로 활용하여 타마슈크어 음성 인식 및 번역 성능을 향상시킬 수 있는가?
• RQ3 작고 고품질의 병렬 타마슈크어-프랑스어 코퍼스가 순수하게 비지도 학습 기반 접근법에 비해 종단 간 음성 번역 모델 훈련에 얼마나 효과적인가?
• RQ4 저자원 음성 번역 환경에서 데이터 품질과 애너테이션 일관성은 모델 성능에 어떤 영향을 미치는가?
• RQ5 고자원 언어(예: 프랑스어)에서의 전이 학습이 타마슈크어 음성 인식 및 음성 번역 시스템 성능 향상에 기여하는가?

주요 결과

• 671시간 분량의 다국어 음성 코퍼스가 공개되었으며, 이는 타마슈크어 음성 224시간, 프랑스어, 풀풀레어, 하우사어, 자르마어 녹음 417시간을 포함하고 있어, 교차 언어 미리 훈련을 가능하게 하였다.
• 문장 수준 번역이 포함된 17시간 분량의 타마슈크어-프랑스어 병렬 음성 번역 코퍼스가 제작되어, 감독 훈련을 위한 귀중한 자료가 되었다.
• 자료는 실제 일상 뉴스 방송에서 확보되어, 실제 응용에 적합한 언어학적 및 문화적 관련성을 확보하였다.
• 자료들은 CC BY-NC-ND 3.0 라이선스 하에 공개되어, 저자원 음성 번역 분야에서의 오픈 연구 및 재현 가능성을 촉진하였다.
• 일부 문장에 성별 애너테이션을 포함하여, 음성 및 화자 특성에 대한 세밀한 분석을 지원하였다.
• 이 작업은 IWSLT 2022 저자원 음성 번역 트랙에서의 벤치마킹 기반 자료를 제공하며, 자료 효율적이고 다국어 음성 모델에 대한 연구를 지원한다.