[논문 리뷰] Kurdish (Sorani) Speech to Text: Presenting an Experimental Dataset

Akam Qader, Hossein Hassani|arXiv (Cornell University)|2019. 11. 29.

Linguistics and Cultural Studies참고 문헌 1인용 수 4

한 줄 요약

이 논문은 이라크 쿠르드스탄 주의 초등학교 1~3학년 교과서에서 추출한 200개의 핵심 문장들을 활용해 제작된, 사운드 인식(ASR)을 위한 첫 번째 실험적 데이터셋인 BD-4SK-ASR를 소개한다. 이 데이터셋은 CMUSphinx 프레임워크 기반으로 개발되었으며, 34음소 집합, 2,000개의 합성 문장, 텍스트 변환, 16비트, 모노, 16kHz로 기록된 음성 파일 및 언어 모델을 포함하여, 사전에 ASR 자원이 없는 저자원 언어인 소라니 쿠르드어를 위한 기초적인 ASR 연구를 가능하게 한다.

ABSTRACT

We present an experimental dataset, Basic Dataset for Sorani Kurdish Automatic Speech Recognition (BD-4SK-ASR), which we used in the first attempt in developing an automatic speech recognition for Sorani Kurdish. The objective of the project was to develop a system that automatically could recognize simple sentences based on the vocabulary which is used in grades one to three of the primary schools in the Kurdistan Region of Iraq. We used CMUSphinx as our experimental environment. We developed a dataset to train the system. The dataset is publicly available for non-commercial use under the CC BY-NC-SA 4.0 license.

연구 동기 및 목표

• 사전에 ASR 시스템이 없는 저자원 언어인 소라니 쿠르드어를 위한 음성 자원의 부족을 해결하기 위해.
• 소라니 쿠르드어에서 자동 음성 인식 시스템을 훈련하고 평가하기 위한 기초 데이터셋을 개발하기 위해.
• 기존에 잘 알려진 접근성 있는 프레임워크인 CMUSphinx를 활용해 쿠르드어 ASR에 대한 初기 실험을 지원하기 위해.
• 향후 더 큰 어휘집과 다른 쿠르드어 방언으로의 확장을 위한 기반을 마련하기 위해.
• 비영리 연구 목적을 위해 CC BY-NC-SA 4.0 라이선스 하에 데이터셋을 공개함으로써 오픈 사이언스를 촉진하기 위해.

제안 방법

• 데이터셋은 이라크 쿠르드스탄 주의 소라니 쿠르드어 초등학교 교과서(1~3학년)에서 추출한 200개 문장들로부터 구성되었다.
• 소라니 쿠르드어의 발음 음소를 정확히 표현하기 위해, 페르시아-아랍 문자와 일치하는 방식으로 맞춤형 34음소 집합이 정의되었다.
• 기본 문장 200개를 무작위로 재조합하여 2,000개의 합성 문장을 생성함으로써 단어 반복 빈도와 훈련 커버리지 확보를 도모했다.
• 조용한 환경에서 단일 화자로 Audacity를 사용해 음성 녹음을 실시하였으며, 16kHz, 16비트, 모노 포맷으로 기록하고 노이즈 제거를 적용했다.
• 정의된 음소 집합을 사용해 텍스트 변환을 생성하였으며, 음성 모델 훈련을 위해 CMUSphinx 호환 형식으로 통합했다.
• 고정 할인(0.5)과 비율 기반 백오프를 사용한 CMUSphinx 기반 언어 모델을 구축하였으며, 283개의 유니그램, 5,337개의 바이그램, 6,935개의 트리그램을 포함했다.

실험 결과

연구 질문

• RQ1 초등 교육 자료에서 추출한 소규모이고 정제된 데이터셋을 바탕으로 소라니 쿠르드어에 대한 기초 ASR 시스템을 개발할 수 있는가?
• RQ2 저자원 쿠르드어 환경에서 CMUSphinx를 사용해 ASR 시스템을 훈련시키는 것이 실현 가능한가?
• RQ3 기본 문장 200개에서 파생된 2,000개의 합성 문장으로 구성된 데이터셋이 초기 ASR 훈련을 얼마나 효과적으로 지원하는가?
• RQ4 ASR 파이프라인 내에서 소라니 쿠르드어를 정확히 표현하기 위해 필요한 음성학적 및 언어학적 구성 요소는 무엇인가?
• RQ5 오픈소스이자 비영리 목적의 데이터셋은 소라니 쿠르드어와 같이 자원이 부족한 언어 기술 분야의 연구를 어떻게 가속화할 수 있는가?

주요 결과

• BD-4SK-ASR 데이터셋은 비영리 연구 목적을 위해 CC BY-NC-SA 4.0 라이선스 하에 공개되어 있으며, 소라니 쿠르드어 ASR 분야의 비영리 연구 및 개발을 가능하게 한다.
• 데이터셋은 34음소 음소 집합, 음소 기반 텍스트 변환, 그리고 최소한의 배경 잡음이 있는 16kHz, 16비트, 모노로 녹음된 2,000개의 오디오 파일을 포함한다.
• 언어 모델은 283개의 유니그램, 5,337개의 바이그램, 6,935개의 트리그램을 포함하여 문장 수준의 인식을 위한 n-gram 언어 모델링을 지원한다.
• 모든 녹음이 단일 화자로부터 이루어져 일관성을 확보했지만, 일반화 능력에 제한이 있음을 시사하며, 향후 연구에서는 다중 화자 데이터가 필요하다는 점을 강조한다.
• 이 데이터셋은 소라니 쿠르드어 ASR를 위한 첫 번째 기초 기준점으로서, 향후 더 크고 다양한 어휘집으로의 확장을 위한 기반을 마련한다.
• 저자들은 쿠르드어 ASR 분야에 대한 사전 문헌이 존재하지 않음을 확인하였으며, 본 연구가 이 분야에서의 첫 번째 실험적 시도임을 입증한다.