[論文レビュー] Improving End-to-End Speech Recognition with Policy Learning

Yingbo Zhou, Caiming Xiong+1 more|arXiv (Cornell University)|Dec 19, 2017

Speech Recognition and Synthesis参考文献 24被引用数 7

ひとこと要約

本稿では、エンドツーエンド音声認識における語誤り率（WER）を直接最適化するために、最大尤度（CTC）と自己自己的シーケンストレーニング（SCST）を用いた方策勾配学習を組み合わせるマルチオブジェクティブトレーニング手法を提案する。CTCオンリートレーニングに比べて相対性能が4%から13%向上し、Wall Street Journalでは5.53% WER、Librispeech test-cleanでは5.42% WERを達成した。

ABSTRACT

Connectionist temporal classification (CTC) is widely used for maximum likelihood learning in end-to-end speech recognition models. However, there is usually a disparity between the negative maximum likelihood and the performance metric used in speech recognition, e.g., word error rate (WER). This results in a mismatch between the objective function and metric during training. We show that the above problem can be mitigated by jointly training with maximum likelihood and policy gradient. In particular, with policy learning we are able to directly optimize on the (otherwise non-differentiable) performance metric. We show that joint training improves relative performance by 4% to 13% for our end-to-end model as compared to the same model learned through maximum likelihood. The model achieves 5.53% WER on Wall Street Journal dataset, and 5.42% and 14.70% on Librispeech test-clean and test-other set, respectively.

研究の動機と目的

• エンドツーエンド音声認識における最大尤度目的（トレーニングで使用）と実際の性能指標（WER）との不一致を解消する。
• WERのような微分不能な指標を最適化する課題を、強化学習技術を活用して克服する。
• CTCと方策勾配を統合する効率的な共同トレーニング戦略を開発し、最終的な認識精度を向上させる。
• 方策学習によるWERの直接最適化が、追加のトレーニングデータを必要とせずに一貫した性能向上をもたらすことを実証する。

提案手法

• エンドツーエンドASRにおけるシーケンスラベル付けの主な最大尤度目的として、コネクティスト・テンポラル分類（CTC）を用いる。
• 自己自己的シーケンストレーニング（SCST）に基づく方策勾配目的を導入し、モデル自身の仮説とグリーディなリファレンスとの間の期待報酬差を用いて勾配を推定する。
• CTC損失とSCSTからの負の期待WERを組み合わせたマルチオブジェクティブ損失を定式化し、共同最適化を可能にする。
• REINFORCEアルゴリズムを単一サンプル近似を用いて実装し、方策勾配の推定を効率的に行い、計算コストを低減する。
• 効率的な特徴抽出のため、フロントエンドに残差接続とディープ・ワイズ分離型畳み込みを実装する。
• スケジュールドサンプリングとカリキュラム学習を用い、トレーニングの進行に伴い方策勾配の重み（λ）を0.1から1.0へ段階的に増加させる。

Fig. 1 : Model architecture of our end-to-end speech model. Different colored blocks represent different layers as shown on the right, the lightning symbol indicates dropout happens between the two layers.

実験結果

リサーチクエスチョン

• RQ1 方策勾配学習は、エンドツーエンド音声認識における微分不能な指標（例：WER）を効果的に最適化できるか？
• RQ2 CTCと方策勾配を共同でトレーニングすることで、標準的なCTCトレーニングに比べてWERに測定可能な改善が得られるか？
• RQ3 方策勾配の単一サンプル近似を用いる場合、特に計算コストの観点から、提案手法はどれほど効率的か？
• RQ4 より大きなデータセットでトレーニングした場合、モデルの一般化性能が向上するか？また、方策学習はこの一般化を強化するか？

主な発見

• SCSTを用いたCTCと方策勾配の共同トレーニングにより、WSJ eval92セットではCTCオンリーベースラインに比べてWERが相対的に13.8%低減した。
• Librispeechでは、ベースラインに比べてWERが4%相対的に改善され、test-cleanでは5.42%、test-otherでは14.70%を達成した。
• Wall Street Journalデータセットでは5.53% WERを達成し、追加データなしで先行するエンドツーエンドモデルを上回った。
• WSJで微調整されたLibrispeechモデルは、WSJで直接トレーニングされたモデルを上回った。これは、方策学習による一般化性能の向上を示している。
• 追加のトレーニングデータを用いなくても、Amodeiら[6]の最先端モデルと同等の結果を達成した。
• 方策勾配推定における単一サンプル近似の使用は、実用的な共同トレーニングを可能にする上で効果的かつ効率的であった。