[論文レビュー] Listen, Attend and Spell

William Chan, Navdeep Jaitly+2 more|arXiv (Cornell University)|Aug 5, 2015

Multimodal Machine Learning Applications参考文献 19被引用数 312

ひとこと要約

Listen, Attend and Spell (LAS) は、アテンションを用いたシーケンス・ツー・シーケンスフレームワークを用いて、音声を直接文字列に変換するエンド・ツー・エンドのニューラルネットワークである。ピラミッド型再帰的エンコーダー（リスナー）とアテンションベースの再帰的デコーダー（スペラー）を組み合わせ、言語モデルを用いない状態で14.1%のWERを達成し、リスコアリングを施すと10.3%に低下する。従来のエンド・ツー・エンドモデルよりも優れた性能を発揮し、条件付き独立性の仮定を回避し、自然な綴りのバリエーションの生成を可能にする。

ABSTRACT

We present Listen, Attend and Spell (LAS), a neural network that learns to transcribe speech utterances to characters. Unlike traditional DNN-HMM models, this model learns all the components of a speech recognizer jointly. Our system has two components: a listener and a speller. The listener is a pyramidal recurrent network encoder that accepts filter bank spectra as inputs. The speller is an attention-based recurrent network decoder that emits characters as outputs. The network produces character sequences without making any independence assumptions between the characters. This is the key improvement of LAS over previous end-to-end CTC models. On a subset of the Google voice search task, LAS achieves a word error rate (WER) of 14.1% without a dictionary or a language model, and 10.3% with language model rescoring over the top 32 beams. By comparison, the state-of-the-art CLDNN-HMM model achieves a WER of 8.0%.

研究の動機と目的

• 音声を発音記号やHMM、発音辞書を用いずに、テキストに変換するエンド・ツー・エンドの音声認識システムを開発すること。
• CTCの条件付き独立性の仮定を克服し、アテンションを用いて文字列を同時にモデル化することで、文字列の依存関係を捉えること。
• 同じ発話に対して複数の綴りバリエーション（例：'triple a' と 'aaa'）を生成できるようにすること。
• ピラミッド型RNNエンコーダーとトレーニング中のサンプリングテクニックを用いて、トレーニングの安定性と収束速度を向上させること。
• 大規模なボイスサーチタスクにおいて、言語モデルのリスコアリングが性能を顕著に向上させることを示すこと。

提案手法

• リスナーはフィルターバンク特徴を処理し、時間的解像度を低下させることでアテンション計算を容易にするピラミッド型再帰的ニューラルネットワーク（RNN）である。
• スペラーは、リスナーのエンコード済み特徴からのコンテキストを用いて、1文字ずつ文字を生成するアテンションベースのRNNデコーダーである。
• 各デコーディングステップで、デコーダーの隠れ状態を用いてエンコーダー出力に注目するアテンションを計算し、音声特徴と文字の間で動的なアライメントを実現する。
• トレーニング中、デコーダーには正解の文字列が入力され、訓練トランスクリプトの記憶を防ぐためのサンプリングテクニックが用いられる。
• モデルは文字レベルの予測に対するクロスエントロピー損失を用いてエンド・ツー・エンドでトレーニングされる。
• 推論後処理として、上位32個のビーム仮説に対して言語モデルのリスコアリングが適用され、WERが向上する。

実験結果

リサーチクエスチョン

• RQ1 アテンションを用いたエンド・ツー・エンドのシーケンス・ツー・シーケンスモデルは、発音記号やHMMを用いずに、従来のハイブリッドDNN-HMMシステムを上回る性能を発揮できるか？
• RQ2 アテンションベースのモデルは、条件付き独立性の仮定を持つCTCモデルとは異なり、同じ発話に対して複数の妥当な綴りバリエーションを生成できるか？
• RQ3 ピラミッド型RNNエンコーダーを用いることで、標準的なRNNと比較してトレーニング速度と収束速度が顕著に向上するか？
• RQ4 エンド・ツー・エンドモデルと組み合わせた場合、言語モデルのリスコアリングはWERの向上にどの程度効果的か？
• RQ5 明示的な辞書サポートがなくても、モデルは珍しい語や未知語に一般化できるか？

主な発見

• LASは、言語モデルや辞書を用いないGoogleボイスサーチタスクのサブセットで14.1%の語誤り率（WER）を達成した。
• 上位32ビームの言語モデルリスコアリングを施すと、LASのWERは10.3%に低下し、最先端のCLDNN-HMMシステム（8.0% WER）に近づいた。
• モデルは自然に複数の綴りバリエーション（例：'triple a' と 'aaa'）を生成でき、文字間の依存関係をモデル化できる能力を示している。
• ピラミッド型エンコーダー構造を備えなければ、トレーニングが極めて遅くなり、1か月以上経過しても顕著に高い誤り率が続く。
• アテンション機構は不可欠である：アテンションを欠如させると、モデルは深刻な過学習を起こし、音声特徴に注目するのではなく訓練トランスクリプトを記憶してしまう。
• トレーニング中のサンプリングテクニックは、スペラーが訓練トランスクリプトに過剰に適合するのを効果的に抑制し、一般化性能を向上させた。