[論文レビュー] A language model based approach towards large scale and lightweight language identification systems

Brij Mohan Lal Srivastava, Hari Krishna Vydana+2 more|arXiv (Cornell University)|Oct 13, 2015

Speech Recognition and Synthesis参考文献 6被引用数 4

ひとこと要約

本稿では、低レベルの音声特徴ではなく、より高レベルの音韻パターンに着目した、軽量でスケーラブルな言語識別（LID）システムを提案する。音声独立型の発音認識器に続く統計的（SRILM）および再帰的ニューラルネットワーク言語モデル（RNNLM）を用いることで、176言語において平均87.69%の正確性を達成し、音声のばらつきに対して頑健であり、大規模な展開に適した計算効率を示している。

ABSTRACT

Multilingual spoken dialogue systems have gained prominence in the recent past necessitating the requirement for a front-end Language Identification (LID) system. Most of the existing LID systems rely on modeling the language discriminative information from low-level acoustic features. Due to the variabilities of speech (speaker and emotional variabilities, etc.), large-scale LID systems developed using low-level acoustic features suffer from a degradation in the performance. In this approach, we have attempted to model the higher level language discriminative phonotactic information for developing an LID system. In this paper, the input speech signal is tokenized to phone sequences by using a language independent phone recognizer. The language discriminative phonotactic information in the obtained phone sequences are modeled using statistical and recurrent neural network based language modeling approaches. As this approach, relies on higher level phonotactical information it is more robust to variabilities of speech. Proposed approach is computationally light weight, highly scalable and it can be used in complement with the existing LID systems.

研究の動機と目的

• 大規模なマルチリンガル応用を想定した、計算効率的でスケーラブルなLIDシステムの開発。
• 低レベルの音声特徴ではなく、より高レベルの音韻パターン情報をモデル化することで、話者や感情などの音声ばらつきに対して頑健な性能を向上させること。
• 既存の音声ベースのLIDシステムとは補完的であるとみなせる、発音シーケンスに基づく言語モデル（SRILMおよびRNNLM）の実現可能性の探求。
• 176言語の大型マルチリンガルデータセットを用いた、PRLM（発音認識器＋言語モデル）パイプラインの性能およびスケーラビリティの評価。

提案手法

• 言語に依存しない発音認識器を用いて、生の音声信号を発音シーケンスに変換し、言語固有の音声モデルに依存するのを軽減する。
• SRILMを用いた統計的言語モデルを、各言語の発音シーケンス上のn-gram分布をモデル化するために適用する。
• 再帰的ニューラルネットワーク言語モデル（RNNLM）を、同じ発音シーケンス上で学習し、隠れ層サイズおよび語彙の離散化（6〜100クラスに）をハイパーパrameterとして調整する。
• 最適なRNNLM設定は、6出力クラスおよび40個の隠れユニットを採用し、最大4ステップの時間軸にわたるバックプロパゲーションを効果的に可能にする。
• 言語識別は、テスト発話における文単位のパープレキシティが最小となる言語モデルを選択することで実施する。
• モデルは、1言語あたり375発話の176言語データセット上で学習・評価され、訓練用に300、検証用に30、テスト用に45が使用される。

実験結果

リサーチクエスチョン

• RQ1 発音シーケンスからの音韻パターンのモデル化は、低レベルの音声特徴のモデル化と比較してLID性能を向上させ得るか？
• RQ2 大規模LIDにおいて、SRILM n-gramモデルとRNNLMの性能（正確性）および計算コストの違いは何か？
• RQ3 LID正確性を最大化するために最適なRNNLMハイパーパrameter設定（出力クラス数、隠れ層サイズなど）は何か？
• RQ4 提案されたPRLMベースのシステムは、176言語を効率的にスケーリング可能であり、高い正確性と低い計算オーバーヘッドを維持できるか？
• RQ5 複数の言語モデル（例：重み付き補間）を組み合わせることで、個々のモデルの性能を超えるLID性能が達成可能か？

主な発見

• 6出力クラスおよび40個の隠れユニットを有するRNNLMが、全176言語で平均87.69%の最高正確性を達成した。
• 最高性能を示したRNNLMは、Dangaleat言語で93.33%のピーク正確性を達成し、言語固有の識別能力が優れていることを示した。
• SRILM 3-gramモデルは平均85.45%の正確性を達成し、unigram（46.53%）および2-gram（81.77%）モデルと比較して顕著な性能向上を示した。
• n-gramモデルの性能はunigramからtrigramまで急激に向上し、6-gramモデルではわずかに低下したため、trigram以降は収益逓減の傾向が示唆された。
• 6クラスのRNNLMが100クラスのRNNLMを上回ったことから、最適な語彙離散化（約√|V|）が性能向上に寄与することが示唆された。
• システムは言語間で一貫した性能を示し、最小正確性77.77%、最大正確性93.33%を記録したため、頑健性および一般化性能が確認された。