[論文レビュー] Comprehending Real Numbers: Development of Bengali Real Number Speech Corpus

Md Mahadi Hasan Nahid, Md. Ashraful Islam+2 more|arXiv (Cornell University)|Mar 27, 2018

Speech Recognition and Synthesis参考文献 5被引用数 4

ひとこと要約

本論文は、10名の男性発話者から収集された3.79時間にわたる2,302件の音声サンプルを含み、ベンガル語の実数語とフレーズを網羅する、最初の包括的なベンガル語実数音声コーパスを紹介する。このコーパスは、ベンガル語の自動音声認識（ASR）システムの訓練および評価を可能にし、CMU Sphinx4では15%、LSTMベースの認識器では13.2%の語誤り率を達成した。これは、低リソース言語においてバランスの取れた多様なコーパスの重要性を示している。

ABSTRACT

Speech recognition has received a less attention in Bengali literature due to the lack of a comprehensive dataset. In this paper, we describe the development process of the first comprehensive Bengali speech dataset on real numbers. It comprehends all the possible words that may arise in uttering any Bengali real number. The corpus has ten speakers from the different regions of Bengali native people. It comprises of more than two thousands of speech samples in a total duration of closed to four hours. We also provide a deep analysis of our corpus, highlight some of the notable features of it, and finally evaluate the performances of two of the notable Bengali speech recognizers on it.

研究の動機と目的

• 実数に関する包括的なベンガル語音声データセットの不足に応えること。これは、自動音声認識（ASR）の開発を阻害している。
• 0から100までの数字および「百」、「千」、「ラクハ」、「クロア」、「小数点」などの多桁構造を含む、ベンガル語の実数発話のすべての可能な表現をカバーするバランスの取れた、代表的なコーパスを作成すること。
• 従来のHMMベースのモデルとディープラーニングベースのモデルの両方を用いたベンガル語ASRシステムの評価ベンチマークを提供すること。
• コーパスの発音的および語彙的特徴の分析、特に発音子頻度の不均衡と語長分布。
• 将来的により多様な発話者と広範な言語的カバレッジを含む拡張の基盤を築くこと。

提案手法

• 0〜99の基本数詞、100〜900の百のスケール語、および「千」、「ラクハ」、「クロア」、「小数点」などの桁の単位語をランダムに組み合わせる構造化アルゴリズムを用いて合成音声発話を生成した。
• モデルの訓練を均等にサポートできるように、115語の語彙内で語の頻度分布をバランスさせたが、本物のデータが不足していたため、事前確率はモデル化しなかった。
• 地域に跨る10名のネイティブ・ベンガル語話者（年齢20〜23歳）から音声サンプルを収集し、一意の識別子を付与した後、.wav形式で保存し、対応するトランスクリプトをtext-data.txtに格納した。
• 発話者別ディレクトリにコーパスを整理し、再現性およびデータ管理のため、標準化された命名規則（例：speaker_5_21.wav）を採用した。
• 2種類の異なるASRモデルを適用した：CMU Sphinx4（HMMベース）および後処理を施した双方向LSTM。両者とも語誤り率および発音子誤り率を用いて評価した。
• 訓練期間の異なる条件下での誤り率分析を実施し、80:20の分割に基づく訓練セットおよびホールドアウトテストセットの両方で性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、ベンガル語の実数発話のすべての可能な表現を網羅する包括的かつバランスの取れたベンガル語実数音声コーパスを体系的に構築できるか？
• RQ2 ベンガル語実数音声の主な発音的および語彙的特徴は何か。特に発音子頻度の不均衡や語長分布について。
• RQ3 従来のHMMベースのモデルと現代のディープラーニングベースのASRモデルは、新たに作成されたベンガル語音声コーパス上でどのように性能を発揮するか？
• RQ4 訓練データ量が、特に数字認識において、ベンガル語ASRシステムの語誤り率にどの程度影響を与えるか？
• RQ5 現在のコーパスにおける発話者多様性および発音カバレッジの限界は何か。今後の研究でどのように是正できるか？

主な発見

• コーパスには2,302件の音声サンプル、合計17,582語の語彙、約3.79時間の音声が含まれており、ベンガル語のすべての実数表現をカバーする115語の固有語彙を有する。
• 102語の基本数詞（0〜100）と13語の特殊語（例：「hajar」が千、「koTi」がクロア）を含み、うち45語が2通りの発音が可能である。
• CMU Sphinx4モデルはホールドアウトテストセット（20%）で15%の語誤り率を達成し、新コーパスにおけるベースライン性能を示した。
• 双方向LSTMモデルは13.2%の語誤り率と29%の発音子誤り率を達成し、後処理のおかげで時間経過とともに性能が向上した。
• 顕著な発音子頻度の不均衡が観察された。例として、「A」は10.8%の正規化頻度を示したが、「AI」はわずか0.15%であった。これは言語固有の言語的不均衡を示している。
• コーパスには女性発話者が含まれておらず、年齢層の多様性も限定的である。これにより、将来的にモデルの汎化性能と代表性を高めるために、発話者を拡充する必要がある。