[論文レビュー] An online sequence-to-sequence model for noisy speech recognition

Chung‐Cheng Chiu, Dieterich Lawson+5 more|arXiv (Cornell University)|Jun 16, 2017

Speech Recognition and Synthesis参考文献 9被引用数 3

ひとこと要約

本論文は、因果的アテンションを用いたリアルタイム推論を可能にする、改良されたオンライン逐次-逐次モデルを提案する。これは、エンドツーエンドの音声認識のための修正されたポリシー勾配学習手法を用いる。ノイズがかかる単一チャネル混合音声（Multi-TIMIT）において、10%の混合割合で発音誤り率（PER）を25.9%まで低下させ、干渉に強く、低レイテンシを維持した強力な性能を示す。

ABSTRACT

Generative models have long been the dominant approach for speech recognition. The success of these models however relies on the use of sophisticated recipes and complicated machinery that is not easily accessible to non-practitioners. Recent innovations in Deep Learning have given rise to an alternative - discriminative models called Sequence-to-Sequence models, that can almost match the accuracy of state of the art generative models. While these models are easy to train as they can be trained end-to-end in a single step, they have a practical limitation that they can only be used for offline recognition. This is because the models require that the entirety of the input sequence be available at the beginning of inference, an assumption that is not valid for instantaneous speech recognition. To address this problem, online sequence-to-sequence models were recently introduced. These models are able to start producing outputs as data arrives, and the model feels confident enough to output partial transcripts. These models, like sequence-to-sequence are causal - the output produced by the model until any time, $t$, affects the features that are computed subsequently. This makes the model inherently more powerful than generative models that are unable to change features that are computed from the data. This paper highlights two main contributions - an improvement to online sequence-to-sequence model training, and its application to noisy settings with mixed speech from two speakers.

研究の動機と目的

• 出力生成のための入力全体が必要な標準的な逐次-逐次モデルの制限に対処する。これはリアルタイムアプリケーションに不適切である。
• 音声が到着するにつれて段階的に発話文を生成する因果的でオンライン推論可能なメカニズムを開発する。
• 二値確率変数を用いた修正されたポリシー勾配アプローチにより、オンライン逐次-逐次モデルの学習安定性と性能を向上させる。
• 2人の話者からのノイズがかかる単一チャネル混合音声を評価し、現実的な干渉シナリオを模擬する。
• モデルが混合音声の中でのターゲット話者の認識を低レイテンシかつ高精度で行えることを実証する。

提案手法

• エンコーダー状態からのコンテキストベクトルを用いて、デコーダーが自己回帰的に出力トークンを生成する、ソフトアテンションを用いた逐次-逐次アーキテクチャを採用する。
• モデルがトークンを出力するタイミングを決定するための二値確率変数を導入し、入力処理中に部分的な出力を可能にする。
• 出力発生意思決定機構をポリシー勾配法で学習し、学習安定性と収束性を向上させるために、目的関数を修正する。
• 効率的なシーケンスモデリングのため、エンコーダーおよびデコーダーに一方向LSTMを用い、2層構造で1層あたり256ユニットとする。
• 10%、25%、50%の音量比で男性と女性のTIMIT発話音声を混合して作成された新しいデータセット、Multi-TIMITにモデルを適用する。
• 標準的なログメルフィルタバンク特徴（123次元）を用い、トークンレベルの予測に対して交差エントロピー損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 改善された学習法を用いたオンライン逐次-逐次モデルは、ノイズ環境下のリアルタイム音声認識に効果的に適用可能か？
• RQ2 干渉レベルが上昇する中で、2人の話者からの単一チャネル混合音声に対して、モデルの性能はいかがなものか？
• RQ3 モデルの因果的かつ自己回帰的な構造は、入力シーケンス全体が揃わない状態でも、劣化した入力に適応可能か？
• RQ4 標準モデルと比較して、競争力のある正確性を維持しながら、低レイテンシを実現できるか？
• RQ5 クリーンな入力とノイズがかかる入力の間で、モデルの発話タイミングにどのような差が生じるか？これはモデルの頑健性に何を示唆するか？

主な発見

• 提案モデルは、10%混合割合のMulti-TIMITで発音誤り率（PER）25.9%を達成し、CTC（27.3%）およびRNN-Transducer（25.7%）を上回った。
• 25%混合ではPERが32.5%に上昇したが、これはクリーンデータと比較して中程度の劣化であり、ベースラインモデルを上回った。
• 50%混合ではPERが42.9%に達したが、RNN-Transducer（48.9%）を上回っており、高い干渉に耐える頑健性を示した。
• ノイズがかかるMulti-TIMIT入力では、クリーンなTIMIT入力と比較して、トークンの出力タイミングが遅れる傾向にあり、劣化した入力に適応するタイミング制御が行われていると考えられる。
• 各ターゲット発話が複数の干渉話者とペairedされた場合、過学習が悪化した。これは、モデルが特定の入力-出力ペアを記憶する能力を持つことを示唆している。
• モデルの因果的アーキテクチャにより、リアルタイム推論が可能であり、複数の発話文生成をサポートする。実用的展開に向けた柔軟性が向上した。