[論文レビュー] Model Unit Exploration for Sequence-to-Sequence Speech Recognition.

Kazuki Irie, Rohit Prabhavalkar+4 more|arXiv (Cornell University)|Feb 5, 2019

Topic Modeling参考文献 18被引用数 14

ひとこと要約

本論文は、注意機構を用いたエンコーダ・デコーダ型音声認識における単位のモデリングを調査し、語彙辞書や言語モデルを用いない状態でも、音素ベースのモデルに比べて字素およびワードピースモデルがLibriSpeech 100時間、460時間、960時間のデータセットで優れていることを発見した。さらに、強力なワードピースモデルから得たN-best仮説リストを音素または字素モデルで再スコアリングすることで、WERが最大9%相対的に低減することを示した。これは、より多様な仮説生成に起因する。

ABSTRACT

In conventional speech recognition, phoneme-based models outperform grapheme-based models for non-phonetic languages such as English. The performance gap between the two typically reduces as the amount of training data is increased. In this work, we examine the impact of the choice of modeling unit for attention-based encoder-decoder models. We conduct experiments on the LibriSpeech 100hr, 460hr, and 960hr tasks, using various target units (phoneme, grapheme, and word-piece); across all tasks, we find that grapheme or word-piece models consistently outperform phoneme-based models, even though they are evaluated without a lexicon or an external language model. We also investigate model complementarity: we find that we can improve WERs by up to 9% relative by rescoring N-best lists generated from a strong word-piece based baseline with either the phoneme or the grapheme model. Rescoring an N-best list generated by the phonemic system, however, provides limited improvements. Further analysis shows that the word-piece-based models produce more diverse N-best hypotheses, and thus lower oracle WERs, than phonemic models.

研究の動機と目的

• 音素、字素、ワードピースという異なるモデリング単位が、注意機構を用いたエンコーダ・デコーダ型音声認識モデルに与える影響を評価すること。
• 外部言語モデルや語彙辞書を用いない大規模学習データでも、単位間の性能差が継続的に現れるかどうかを特定すること。
• あるモデルが生成したN-best仮説リストを別のモデルで再スコアリングすることで、モデルの相補性を調査し、認識精度を向上させること。
• 異なるモデリング単位が生成するN-best仮説の多様性と、そのオラクルWERに与える影響を分析すること。

提案手法

• LibriSpeech 100時間、460時間、960時間のサブセットで、音素、字素、ワードピース単位を用いたエンドツーエンドの注意機構ベースのエンコーダ・デコーダモデルを学習する。
• 外部言語モデルや語彙辞書を一切使用せず、モデリング単位の影響を明確に分離して全モデルを評価する。
• 各モデルからN-best仮説リストを生成し、代替モデルを用いて再スコアリングすることで、モデルの相補性を評価する。
• オラクルWERを測定し、異なるモデリング単位におけるN-best仮説リストの多様性と品質を評価する。
• N-best仮説の分布と多様性を分析し、性能差の理由を説明する。

実験結果

リサーチクエスチョン

• RQ1 外部言語モデルや語彙辞書を用いない状態でも、字素またはワードピースモデルは音素ベースのモデルを上回るのか？
• RQ2 強力なワードピースモデルから得たN-bestリストを、音素または字素モデルで再スコアリングすることで、WERを顕著に低減できるのか？
• RQ3 再スコアリングによる性能向上は、N-bestリストを生成したベースモデルに依存するのか？
• RQ4 ワードピース、字素、音素モデルの間で、N-best仮説の多様性はどのように異なるのか。また、その多様性はオラクルWERにどのような影響を与えるか？

主な発見

• 語彙辞書や言語モデルを用いない状態でも、字素およびワードピースモデルは、すべてのLibriSpeechデータスケールで音素ベースのモデルを一貫して上回る。
• 強力なワードピースモデルから得たN-bestリストを、音素または字素モデルで再スコアリングすることで、WERが最大9%相対的に低減する。
• 音素モデルからの再スコアリングでは限定的な改善にとどまるため、相補性が弱いことが示された。
• ワードピースベースのモデルは、音素モデルに比べてより多様なN-best仮説を生成し、それによりオラクルWERが低くなる。
• 訓練データが増加するにつれて、音素モデルと字素／ワードピースモデルの性能差は縮小するが、字素／ワードピースモデルは依然として優位性を保つ。