[논문 리뷰] Comprehending Real Numbers: Development of Bengali Real Number Speech Corpus

Md Mahadi Hasan Nahid, Md. Ashraful Islam외 2명|arXiv (Cornell University)|2018. 03. 27.

Speech Recognition and Synthesis참고 문헌 5인용 수 4

한 줄 요약

이 논문은 모든 가능한 벤골어 실수치 표현을 포함하는 첫 번째 종합적인 벤골어 실수치 음성 코퍼스를 소개한다. 총 2,302개의 오디오 샘플이 10명의 남성 발화자(3.79시간 분량)로부터 수집되었으며, 이는 번역 및 학습을 위한 벤골어 음성 인식 시스템 개발을 가능하게 한다. CMU Sphinx4를 사용한 실험에서 15%의 단어 오류율을 기록하였고, LSTM 기반 인식기에서는 13.2%의 오류율을 기록하여, 자원이 적은 언어에서 균형 잡히고 다양한 코퍼스의 필요성을 강조한다.

ABSTRACT

Speech recognition has received a less attention in Bengali literature due to the lack of a comprehensive dataset. In this paper, we describe the development process of the first comprehensive Bengali speech dataset on real numbers. It comprehends all the possible words that may arise in uttering any Bengali real number. The corpus has ten speakers from the different regions of Bengali native people. It comprises of more than two thousands of speech samples in a total duration of closed to four hours. We also provide a deep analysis of our corpus, highlight some of the notable features of it, and finally evaluate the performances of two of the notable Bengali speech recognizers on it.

연구 동기 및 목표

• 실수치 음성 데이터셋의 부족으로 인해 자동 음성 인식(ASR) 개발이 저해되는 문제를 해결하기 위해.
• 0에서 100까지의 수와 '백', '천', '라크', '크로르', '소수점' 등의 다자릿수 표현을 포함한 모든 가능한 벤골어 실수치 발화를 포함하는 균형 잡히고 대표적인 코퍼스를 구축하기 위해.
• 伝통적인 HMM 기반 모델과 딥 러닝 기반 모델을 모두 사용하여 벤골어 ASR 시스템 평가를 위한 기준을 제공하기 위해.
• 음소 빈도 불균형과 어휘 길이 분포를 포함한 코퍼스의 음성학적 및 어휘적 특성 분석을 위해.
• 더 다양한 발화자와 더 넓은 언어적 범위를 포함하는 향후 확장의 기초를 마련하기 위해.

제안 방법

• 기본 수어(0–99), 백단위 어휘(100–900), 크기 어휘(천, 라크, 크로르, 소수점)를 무작위로 조합하는 구조화된 알고리즘을 사용해 합성 음성 발화를 생성하였다.
• 학습 모델의 균형 잡힌 빈도 분포를 확보하기 위해 115개 어휘어의 빈도 분포를 균형 있게 유지하였지만, 실제 데이터 부족으로 인해 이전 확률은 모델링하지 않았다.
• 10명의 모국어가 벤골어인 발화자(20–23세)로부터 지역별로 음성 샘플을 수집하였으며, 고유 식별자와 해당 텍스트 전사문을 포함한 .wav 파일로 저장하였다.
• 발화자별 디렉터리로 구성하고 재현 가능성과 데이터 관리를 위해 표준화된 이름 체계(예: speaker_5_21.wav)를 사용하였다.
• 두 가지 다른 ASR 모델을 적용: CMU Sphinx4(HMM 기반)와 후처리를 거친 양방향 LSTM, 둘 다 단어 오류율과 음소 오류율로 평가하였다.
• 다양한 학습 기간 동안 오류율 분석을 수행하고, 훈련 세트와 별도의 테스트 세트(80:20 분할)에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 어떻게 하면 벤골어 실수치 발화의 모든 가능한 표현을 포함하는 체계적인 종합적이고 균형 잡힌 음성 코퍼스를 구축할 수 있는가?
• RQ2 벤골어 실수치 음성의 주요 음성학적 및 어휘적 특성은 무엇인가? 특히 음소 빈도 불균형과 어휘 길이 분포를 포함하여.
• RQ3 伝통적인 HMM 기반 모델과 현대적인 딥 러닝 기반 모델은 새로 구축된 벤골어 음성 코퍼스에서 어떻게 성능을 내는가?
• RQ4 학습 데이터 크기가 벤골어 ASR 시스템, 특히 수치 인식 분야에서 단어 오류율에 어떤 영향을 미치는가?
• RQ5 현재 코퍼스의 발화자 다양성과 음성학적 커버리지 측면에서의 한계는 무엇이며, 향후 연구에서 어떻게 보완할 수 있는가?

주요 결과

• 코퍼스는 총 2,302개의 음성 샘플, 17,582개의 어휘어, 약 3.79시간의 오디오를 포함하며, 벤골어의 모든 실수치 표현을 다루는 115개의 고유 어휘어를 포함한다.
• 102개의 기본 수어(0–100)와 13개의 특수 어휘어(예: 'hajar'는 천, 'koTi'는 크로르)가 포함되어 있으며, 이 중 45개는 두 가지의 가능한 발음 방식을 가진다.
• CMU Sphinx4 모델은 별도의 20% 테스트 세트에서 15%의 단어 오류율을 기록하여, 새로운 코퍼스에서의 기초 성능을 입증하였다.
• 양방향 LSTM 모델은 13.2%의 단어 오류율과 29%의 음소 오류율을 기록하였으며, 후처리로 인해 시간이 지남에 따라 성능이 향상되었다.
• 중요한 음소 빈도 불균형이 관찰되었는데, 예를 들어 'A'는 10.8%의 정규화 빈도를 보였고, 'AI'는 단지 0.15%에 불과하여 언어 내부의 본질적 불균형을 반영한다.
• 코퍼스에는 여성 발화자가 포함되어 있지 않으며, 연령대 다양성도 제한되어 있어, 향후 모델의 일반화 능력 향상과 대표성을 높이기 위해 확장이 필요하다.