[論文レビュー] Towards Language-Universal End-to-End Speech Recognition

Suyoun Kim, Michael L. Seltzer|arXiv (Cornell University)|Nov 6, 2017

Speech Recognition and Synthesis参考文献 17被引用数 6

ひとこと要約

本論文は、言語に依存しない出力層を用い、複数の言語を一括して認識する言語ユニバーサルなエンド・ツー・エンド音声認識システムを提案する。このモデルは、共有されたユニバーサル文字セットと言語固有のゲーティング機構を用い、言語に特化した出力層を必要としない。モデルは単言語およびマルチタスク学習のベースラインを上回り、リソースが乏しい言語において強力なゼロショット初期化を達成し、最小限の性能低下でコードスイッチングに対応できる二言語モデルを実現する。

ABSTRACT

Building speech recognizers in multiple languages typically involves replicating a monolingual training recipe for each language, or utilizing a multi-task learning approach where models for different languages have separate output labels but share some internal parameters. In this work, we exploit recent progress in end-to-end speech recognition to create a single multilingual speech recognition system capable of recognizing any of the languages seen in training. To do so, we propose the use of a universal character set that is shared among all languages. We also create a language-specific gating mechanism within the network that can modulate the network's internal representations in a language-specific way. We evaluate our proposed approach on the Microsoft Cortana task across three languages and show that our system outperforms both the individual monolingual systems and systems built with a multi-task learning approach. We also show that this model can be used to initialize a monolingual speech recognizer, and can be used to create a bilingual model for use in code-switching scenarios.

研究の動機と目的

• 複数言語の音声認識におけるスケーラビリティとデータ不足の課題に対処するため、複数の言語をサポートする単一のモデルを構築すること。
• エンド・ツー・エンドのグラフィムベース認識において、言語固有の発音辞書の必要性を排除するため、ユニバーサル文字セットを用いること。
• 言語固有のゲーティングユニットを導入することで、内部表現を言語に依存する方法で調整し、マルチリンガルモデリングを改善すること。
• 実世界のマルチリンガルデータにおけるモデルの性能を評価し、単言語システムの初期化手法としての有効性を検証すること。
• 文字セットの結合を用いて二言語間のコードスイッチングを処理できるエンド・ツー・エンドモデルを訓練可能かどうかを検討すること。

提案手法

• モデルは、すべての言語で共有されるユニバーサル文字セットを用い、言語固有の出力層の代わりにConnectionist Temporal Classification (CTC) を使用する。
• 言語固有のゲーティング機構を導入し、言語IDが各ネットワーク層における乗法的相互作用を通じて隠れ表現を調整する。
• ゲーティングユニットは、言語IDと現在の隠れ状態を用いてゲートベクトルを計算し、それを隠れ表現に対して要素ごとの乗算で適用する。
• 音声特徴とラベル系列のすべての可能なアライメント上で最尤推定基準を用いてエンド・ツー・エンドで学習する。
• 言語IDはワンホットベクトルとして符号化され、ゲーティング機構への入力として使用され、言語ごとの動的適応を可能にする。
• モデルは、3言語（英語、ドイツ語、スペイン語）を用いたMicrosoft Cortanaタスクで評価され、WERとCERを指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 言語固有の出力層を一切使用せずに、単一のエンド・ツー・エンド ASR モデルが複数言語で競争力ある性能を達成できるか？
• RQ2 ユニバーサル文字セットと言語固有のゲーティングを組み合わせることで、標準的なマルチタスク学習よりもマルチリンガル認識性能が向上するか？
• RQ3 マルチリンガルモデルが、データが限られた単言語モデルの学習に有効な初期化手法として機能できるか？
• RQ4 文字セットの結合のみを用いて、二言語間のコードスイッチングを処理できる単一のモデルを訓練可能か？
• RQ5 入力レベルの言語埋め込みと比較して、ゲーティングによる言語IDの組み込みは認識精度にどのように影響するか？

主な発見

• 提案された言語ユニバーサルモデルは、言語モデルを用いない状態で、英語、ドイツ語、スペイン語について、それぞれ7.0%、8.6%、11.1%の相対的WER改善を達成した。
• 言語固有のゲーティング機構は、言語埋め込みのみまたは隠れ状態に基づくゲーティングを用いるモデルと比較して、最も高い性能向上を示した。
• 150時間のドイツ語データで微調整した結果、ゲーティングを用いて英語・ドイツ語・スペイン語を事前学習したモデルはCER 19.4%を達成し、より大きな単言語英語データで事前学習したモデルを上回った。
• 英語150時間とスペイン語150時間のデータで学習した二言語モデルは、英語テストセットでWER 38.8%、スペイン語テストセットでWER 45.1%を達成し、単言語モデルと同等の性能を示した。
• ドイツ語データでの微調整なしでもCER 20.6%を達成したため、マルチリンガル事前学習による強力なゼロショット一般化能力が示された。
• すべての層にゲーティングを適用した場合に最高の性能が得られたため、言語固有の調整がネットワーク全体にわたって適用されるほど効果的であることが示された。