[論文レビュー] Phonemic and Graphemic Multilingual CTC Based Speech Recognition

Markus Müller, Sebastian Stüker+1 more|arXiv (Cornell University)|Nov 13, 2017

Speech Recognition and Synthesis参考文献 25被引用数 4

ひとこと要約

本稿では、英語、フランス語、ドイツ語、トルコ語の4言語で共有される音声的および文字的ユニットを用いた多言語 CTC に基づく自動音声認識（ASR）システムを提案する。言語特徴ベクトル（LFVs）を導入することで、性能が向上し、言語固有の発音辞書を必要とせずに、多言語と単言語システムの誤差ギャップを縮小する。多言語ボトルネック特徴（ML-BNFs）と LFVs を活用することで、特にドイツ語とトルコ語において顕著な TER の向上が達成され、言語間適応が効果的に行えることが示された。

ABSTRACT

Training automatic speech recognition (ASR) systems requires large amounts of data in the target language in order to achieve good performance. Whereas large training corpora are readily available for languages like English, there exists a long tail of languages which do suffer from a lack of resources. One method to handle data sparsity is to use data from additional source languages and build a multilingual system. Recently, ASR systems based on recurrent neural networks (RNNs) trained with connectionist temporal classification (CTC) have gained substantial research interest. In this work, we extended our previous approach towards training CTC-based systems multilingually. Our systems feature a global phone set, based on the joint phone sets of each source language. We evaluated the use of different language combinations as well as the addition of Language Feature Vectors (LFVs). As contrastive experiment, we built systems based on graphemes as well. Systems having a multilingual phone set are known to suffer in performance compared to their monolingual counterparts. With our proposed approach, we could reduce the gap between these mono- and multilingual setups, using either graphemes or phonemes.

研究の動機と目的

• 低リソース言語におけるデータスパarsity を解消するため、複数の高リソース言語のデータを用いて単一の多言語 ASR システムを訓練すること。
• 特に低リソース状況において、多言語と単言語の音声認識システムの性能ギャップを縮小すること。
• 言語固有の発音辞書を必要とせずに、共有 RNN/CTC モデルを複数の言語に適応させるために、言語特徴ベクトル（LFVs）の有効性を評価すること。
• 多言語 CTC フレームワークにおいて、音素ベースと文字ベースのモデリングユニットの性能を比較すること。
• 多言語ボトルネック特徴（ML-BNFs）が、多様な言語において認識精度を向上させるかどうかを調査すること。

提案手法

• 本システムは、4つのターゲット言語（英語、フランス語、ドイツ語、トルコ語）の全言語の音声的インベントリを統合して得た共有グローバル音素セットを用いる。
• 多言語ボトルネック特徴（ML-BNFs）は、4つの言語のデータ上で訓練され、RNN/CTC モデルの入力として使用され、音声表現の学習を向上させる。
• 言語特徴ベクトル（LFVs）は TDNN/CNN 層の後に導入され、言語固有の特徴を符号化し、推論時にモデルが異なる言語に適応できるようにする。
• モデルはミニバッチ確率的勾配降下法とバッチ正規化を用い、接続主義的時系列分類（CTC）で訓練され、最初のエポックでは発話長に基づいて発話をソートすることで訓練を安定化させる。
• 文字ベースのシステムでは、発音辞書を省略し、代わりに RNN が直接文字から音素へのマッピングを学習する。性能評価には、英語用に文字レベル言語モデルを用いた TER と WER が使用される。
• TER 評価には外部言語モデルを用いないグリーディデコード戦略が採用され、WER は英語用に別個の文字ベース言語モデルを用いて計算される。

実験結果

リサーチクエスチョン

• RQ1 共有グローバル音素セットを用いて訓練された多言語 CTC に基づく ASR システムが、言語適応技術を用いることで、単言語システムに近い性能を達成できるか？
• RQ2 言語特徴ベクトル（LFVs）は、複数の言語にわたり、多言語と単言語 ASR システムの性能ギャップを縮小するためにどの程度効果的か？
• RQ3 音素ではなく文字をモデリングユニットとして用いることで、特に低リソース状況において多言語 ASR の性能が向上するか？
• RQ4 標準的なログメル＋トーン特徴と比較して、多言語ボトルネック特徴（ML-BNFs）は認識精度をどの程度向上させるか？
• RQ5 LFVs の追加が、表記および音声的複雑性が異なる多様な言語において一貫した改善をもたらすか？

主な発見

• 多言語ボトルネック特徴（ML-BNFs）の使用により、ドイツ語では TER が 2.8 パcentポイント低下（10.8% から 7.8%）、英語でも 2.8 パcentポイント低下（13.0% から 10.2%）し、言語をまたいで一般化能力を示した。
• 言語特徴ベクトル（LFVs）の追加により、ドイツ語では TER が 1.0 パcentポイント低下（9.9% から 8.9%）、英語で 1.2 パcentポイント（14.1% から 12.9%）、フランス語で 2.1 パcentポイント（12.8% から 10.7%）低下し、言語をまたいで一貫した改善が確認された。
• 文字ベースのシステムでは、LFVs の導入により、ドイツ語の TER は 9.1% から 7.9%、英語は 15.6% から 14.3%、トルコ語は 7.9% から 7.3% に低下し、発音辞書が不要な状況でも効果的な適応が可能であることが示された。
• 英語の単語誤り率（WER）は、多言語システムで 30.8% だったのを、LFVs を導入した場合に 28.1% に改善し、TER の向上がより良い単語レベル認識に反映されることを確認した。
• 単言語システムはドイツ語で 7.8%、英語で 10.2% という最低の TER を達成したが、LFVs を用いた多言語システムではギャップが 1.0–2.0 パcentポイント以内に縮小され、多言語設定でも高い性能を示した。
• 結果から、ドイツ語とトルコ語では文字ベースのシステムが音素ベースのシステムを上回ることが示唆され、RNN が直接複雑な文字→発音ルールを学習できるためと考えられる。一方、英語とフランス語では、明示的な発音モデル化の恩恵をより多く受けることが示唆された。