[論文レビュー] End-to-End Training Approaches for Discriminative Segmental Models

Hao Tang, Weiran Wang+2 more|arXiv (Cornell University)|Oct 21, 2016

Speech Recognition and Synthesis参考文献 8被引用数 3

ひとこと要約

本稿では、LSTMベースの特徴エンコーダと線形セグメンタルモデルを用いた、判別的セグメンタルモデルのエンドツーエンド学習手法を調査する。真のアライメントが存在しない状況では、マージナルログ損失が強力な性能を達成可能であるのに対し、真のアライメントが利用可能な場合には、2段階学習に続いてエンドツーエンド微調整を施すことで最良の結果が得られ、ドロップアウトが一般化性能を向上させる上で極めて重要である。

ABSTRACT

Recent work on discriminative segmental models has shown that they can achieve competitive speech recognition performance, using features based on deep neural frame classifiers. However, segmental models can be more challenging to train than standard frame-based approaches. While some segmental models have been successfully trained end to end, there is a lack of understanding of their training under different settings and with different losses. We investigate a model class based on recent successful approaches, consisting of a linear model that combines segmental features based on an LSTM frame classifier. Similarly to hybrid HMM-neural network models, segmental models of this class can be trained in two stages (frame classifier training followed by linear segmental model weight training), end to end (joint training of both frame classifier and linear weights), or with end-to-end fine-tuning after two-stage training. We study segmental models trained end to end with hinge loss, log loss, latent hinge loss, and marginal log loss. We consider several losses for the case where training alignments are available as well as where they are not. We find that in general, marginal log loss provides the most consistent strong performance without requiring ground-truth alignments. We also find that training with dropout is very important in obtaining good performance with end-to-end training. Finally, the best results are typically obtained by a combination of two-stage training and fine-tuning.

研究の動機と目的

• 音声認識における判別的セグメンタルモデルのエンドツーエンド学習と2段階学習戦略を比較すること。
• 真のセグメンテーションが存在する・しない状況下で、ヒンジ損失、ログ損失、ラテンヒンジ損失、マージナルログ損失といった異なる損失関数の影響を、さまざまな学習設定において評価すること。
• 2段階学習後にエンドツーエンド微調整を施すことで、初期からエンドツーエンド学習を実施するのと比較して性能が向上するかどうかを特定すること。
• エンドツーエンド学習における過学習を防ぐためにドロップアウトが果たす役割の重要性を評価すること。
• 手動によるセグメンテーションが不要な2段階学習を実現するため、モデルが生成する強制的アライメントの品質を評価すること。

提案手法

• モデルは、MFCCなど音声入力からのフレームレベル表現を抽出するため、3層の双方向LSTMを特徴エンコーダとして用いる。
• 線形セグメンタルモデルは、これらの特徴を組み合わせてラベル系列を予測し、セグメンタル重みは微分可能な損失関数により最適化される。
• エンドツーエンド学習では、バックプロパゲーションを用いて全探索空間を経由してLSTMとセグメンタルモデルの両方のパラメータを同時に最適化する。
• 2段階学習では、まずフレームレベルラベル（例：強制的アライメント）を用いてLSTMを学習し、その後固定された特徴量を用いてセグメンタルモデルを学習する。
• 2段階学習の後にエンドツーエンド微調整を実施し、同じ損失関数を用いて性能をさらに向上させる。
• 各損失関数（ヒンジ、ログ、ラテンヒンジ、マージナルログ損失）の勾配計算は、探索空間を前向き・後向きパスで走査し、必要に応じてセグメンテーション空間を走査する。

実験結果

リサーチクエスチョン

• RQ1 真のセグメンテーションが入手不可な状況下で、マージナルログ損失を用いたエンドツーエンド学習が、他の損失関数を上回る性能を発揮するか？
• RQ2 真のアライメントが利用可能な場合、2段階学習に続いてエンドツーエンド微調整を施す手法と、初期からエンドツーエンド学習を実施する手法の性能を比較するとどうなるか？
• RQ3 エンドツーエンドセグメンタルモデル学習におけるドロップアウトの一般化性能への影響は？
• RQ4 マージナルログ損失で学習したモデルが、高品質な強制的アライメントを生成できるか？そのようなアライメントにより、手動セグメンテーションなしに効果的な2段階学習が可能になるか？
• RQ5 勾配計算時間の観点から、異なる損失関数の計算コストはどのように比較できるか？

主な発見

• 真のセグメンテーションが存在しない状況では、マージナルログ損失を用いたエンドツーエンド学習が最良の性能を示し、テストセットで20.1%のフォンエラー率を達成した。
• 真のセグメンテーションが利用可能な状況では、ログ損失を用いた2段階学習に続いてエンドツーエンド微調整を施すことで最良の結果が得られ、開発セットで18.6%のフォンエラー率を記録した。
• マージナルログ損失で学習したシステムは、高品質な強制的アライメントを生成でき、96.7%のフォン境界が40msの許容誤差内に正しく位置付けられた。
• ドロップアウトを用いた学習は一般化性能を顕著に向上させ、特にエンドツーエンド設定において重要であり、強力な性能を達成するために不可欠である。
• 2段階学習後にエンドツーエンド微調整を施すことで、真のアライメントが利用可能な状況では、2段階学習のみに比べて10%相対的に性能が向上した。
• マージナルログ損失は、探索空間を2回、セグメンテーション空間を2回走査する必要があるため、最も計算コストが高く、勾配計算時間は1エポックあたり2.10時間（LSTMを除く）にのぼった。