[論文レビュー] Multi-Dialect Speech Recognition With A Single Sequence-To-Sequence Model

Bo Li, Tara N. Sainath+7 more|arXiv (Cornell University)|Dec 5, 2017

Speech Recognition and Synthesis参考文献 21被引用数 10

ひとこと要約

本論文は、エンコーダーおよびデコーダー層に1-ホットな方言ベクトルを組み込み、出力のトランスクリプトに方言ラベルを付加することで、複数の英語方言の音声認識のための1つのシーケンス・ツー・シーケンス（LAS）モデルを提案する。この手法により、音素予測と方言分類の共同学習が可能となり、7つの英語方言で3.1–16.5%の相対的WER低減を達成し、個別に訓練されたモデルを上回る性能を発揮する。

ABSTRACT

Sequence-to-sequence models provide a simple and elegant solution for building speech recognition systems by folding separate components of a typical system, namely acoustic (AM), pronunciation (PM) and language (LM) models into a single neural network. In this work, we look at one such sequence-to-sequence model, namely listen, attend and spell (LAS), and explore the possibility of training a single model to serve different English dialects, which simplifies the process of training multi-dialect systems without the need for separate AM, PM and LMs for each dialect. We show that simply pooling the data from all dialects into one LAS model falls behind the performance of a model fine-tuned on each dialect. We then look at incorporating dialect-specific information into the model, both by modifying the training targets by inserting the dialect symbol at the end of the original grapheme sequence and also feeding a 1-hot representation of the dialect information into all layers of the model. Experimental results on seven English dialects show that our proposed system is effective in modeling dialect variations within a single LAS model, outperforming a LAS model trained individually on each of the seven dialects by 3.1 ~ 16.5% relative.

研究の動機と目的

• 個々の方言ごとに別々の音響モデル、発音モデル、言語モデルを用意せずに、複数の英語方言を対象とする1つのエンドツーエンドASRモデルを訓練する課題に対処すること。
• 明示的な方言情報が、マルチダイアレクトモデルとダイアレクト特化モデルの間の性能格差を埋めるかどうかを調査すること。
• 方言間でのパラメータ共有学習を通じて、特にリソースが乏しい方言の認識精度を向上させること。
• 1-ホットな方言ベクトルをエンコーダーおよびデコーダー層に注入する方法と、学習済み埋め込みを用いたクラスタ適応型トレーニング（CAT）の有効性を評価すること。

提案手法

• 1-ホットにエンコードされた方言識別子を、LASエンコーダーおよびデコーダーの各層に入力ベクトルとして組み込み、方言固有の音響的および言語的バイアスをモデル化する。
• 学習ターゲットを変更し、各正解トランスクリプト系列の末尾に方言名を接尾語として追加することで、音素と方言アイデンティティの両方を同時に予測可能にする。
• 入力スペクトログ램と出力文字列列の間のアテンションベースのアライメントを用いて、方言に配慮した監視のもとで、エンドツーエンドにLASモデルを訓練する。
• 7つの英語方言（US, IN, GB, ZA, AU, NG, KE）における語誤り率（WER）を用いて性能を評価する。
• 2つの注入戦略を比較する：直接的な1-ホットベクトル入力と、パラメータ共有を向上させるために学習済み埋め込みを用いたクラスタ適応型トレーニング（CAT）。
• 方言ベクトルの注入と同時に方言識別を共同で学習させることで、モデル性能に及ぼす相乗効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 複数の英語方言のデータを統合して訓練した1つのLASモデルが、各方言ごとに個別に訓練されたモデルを上回る性能を発揮できるか？
• RQ2 エンコーダーおよびデコーダー層に1-ホットな方言ベクトルを注入することで、ベースラインの統合モデルに比べてマルチダイアレクトASR性能が向上するか？
• RQ3 学習済み埋め込みを用いたクラスタ係数（CAT）としての方言ベクトルの使用は、直接的な1-ホット入力注入に比べてどの程度効果的か？
• RQ4 明示的な方言監視により、モデルが方言固有の語彙（例："color" と "colour"）を学習できるか？
• RQ5 方言ベクトルの組み込みにより、特にリソースが乏しい方言の一般化性能が向上するか？

主な発見

• すべての層に1-ホットな方言ベクトルを注入した本手法のマルチダイアレクトLASモデル（S7）は、7つのすべての方言で個別に訓練されたモデルを上回り、3.1–16.5%の相対的WER低減を達成した。
• デコーダー層に方言ベクトルを注入したモデル（S6）は、イギリス英語では"colour"を、アメリカ英語入力では"color"に切り替えるなど、方言固有の語彙を正しく学習できた。
• エンコーダーに方言ベクトルを注入したモデル（S5）は、統合ベースライン（S1）より性能が向上したが、エンコーダーとデコーダーの両方に注入したモデル（S7）ほど効果的ではなかった。
• 学習済み埋め込みを用いたクラスタ適応型トレーニング（CAT）（S8(emb)）は、一部の方言では1-ホット注入よりも高い性能を示したが、顕著に増加するパラメータコスト（300万パラメータの追加）を伴った。
• 方言ベクトル注入と共同での方言識別を組み合わせたモデル（S9）は、ベクトル注入のみのモデルより性能が向上しなかった。これは、モデルがもともと方言をほぼ完璧に予測していた（誤差 < 0.001%）ためである。
• トレーニング中に全方言間で暗黙のパラメータ共有が行われるため、リソースが乏しい方言の認識品質が顕著に向上した。