[論文レビュー] Discriminative Segmental Cascades for Feature-Rich Phone Recognition

Hao Tang, Weiran Wang+2 more|arXiv (Cornell University)|Jul 22, 2015

Speech Recognition and Synthesis参考文献 15被引用数 12

ひとこと要約

本稿では、電話認識のための粗くから細かくまでのデコードおよび学習フレームワークとして、最大マージンプルーニングを用いて高次で計算コストの高い特徴（例えば、セグメントニューラルネットワーク、2次言語モデル、電話境界特徴など）を効率的に統合できる、判別的セグメンタルカスケード（DSC）を提案する。この手法は、TIMITで19.9%の電話誤り率を達成し、セグメンタルモデルにおける新たな最良成績を樹立した。

ABSTRACT

Discriminative segmental models, such as segmental conditional random fields (SCRFs) and segmental structured support vector machines (SSVMs), have had success in speech recognition via both lattice rescoring and first-pass decoding. However, such models suffer from slow decoding, hampering the use of computationally expensive features, such as segment neural networks or other high-order features. A typical solution is to use approximate decoding, either by beam pruning in a single pass or by beam pruning to generate a lattice followed by a second pass. In this work, we study discriminative segmental models trained with a hinge loss (i.e., segmental structured SVMs). We show that beam search is not suitable for learning rescoring models in this approach, though it gives good approximate decoding performance when the model is already well-trained. Instead, we consider an approach inspired by structured prediction cascades, which use max-marginal pruning to generate lattices. We obtain a high-accuracy phonetic recognition system with several expensive feature types: a segment neural network, a second-order language model, and second-order phone boundary features.

研究の動機と目的

• セグメントニューラルネットワークや2次特徴などの高次または高コストな特徴を用いる判別的セグメンタルモデルのデコードにおける計算ボトルネックを解消すること。
• 複雑な特徴統合を可能にする効果的なマルチパスデコードを可能にすることで、最初のパスモデルを上回る電話認識精度を向上させること。
• ビームサーチが近似と学習の点で既知の制限を抱えるにもかかわらず、セグメンタル構造的SVMにおけるリスコアリングモデルの学習に適しているかどうかを検証すること。
• 原理的なプルーニングにより仮説空間を縮小しながらも高い精度を維持するカスケードデコードフレームワークを構築すること。

提案手法

• 特徴の複雑さが増す順にモデルを段階的に組み合わせるカスケードを用い、各段階で最大マージンスコアを用いて仮説空間をプルーニングすることで、高得点パスの保持を保証する。
• 最大マージンプルーニングを用いた構造的予測カスケードを採用し、ビームサーチとは異なり、しきい値を超えるスコアを持つすべてのパスを保持する。
• Hinge損失を用いて学習されたセグメンタル構造的SVMにこのフレームワークを適用し、複雑な特徴空間における判別的学習を可能にする。
• セグメントニューラルネットワーク出力（浅いネットワークへの知識蒸留を経由）、2次言語モデル、2次電話境界特徴などの高コスト特徴を統合する。
• デコードプロセスは仮説グラフとラティスの再スコアリングの有限状態合成を含み、各カスケード段階でプルーニングを実施して計算コストを制御する。
• 学習プロセスではマージンを大きくとる目的関数とHinge損失を用い、2番目のパスモデルは最初のパスで得られたプルーニング済みラティスを、最大マージンスコアを教師信号として用いて学習する。

実験結果

リサーチクエスチョン

• RQ1 ビームサーチは、近似の点で問題があるにもかかわらず、セグメンタル構造的SVMにおけるリスコアリングモデルの学習に効果的に使用できるか？
• RQ2 カスケードフレームワークにおける最大マージンプルーニングは、ビームサーチを上回り、セグメンタルモデルにおける複雑な高次特徴の学習を効果的に行えるか？
• RQ3 セグメントニューラルネットワークや2次特徴などの高コスト特徴を統合した判別的セグメンタルモデルは、最先端の電話認識精度に到達できるか？
• RQ4 2次言語モデルと電話境界特徴の統合は、最初のパスまたはカスケード設定における認識性能にどのような影響を与えるか？

主な発見

• 判別的セグメンタルカスケード（DSC）フレームワークは、TIMITデータセットで19.9%の電話誤り率を達成し、セグメンタルモデルにおける現在までで最高の結果を記録した。
• 最初のパスシステムはユニグラム言語モデルを用いても21.4%の誤り率を達成し、先行するセグメンタルモデルを上回り、HMM-DNNシステムと同等の性能を示した。
• DSCの2番目のパスは、ビグラム言語モデル、セグメントニューラルネットワーク特徴、2次電話境界特徴を統合することで、最初のパスモデル比で1.8%の絶対誤り率低減を達成した。
• セグメントニューラルネットワークアンサンブルは、TIMITのセグメント分類タスクで15.0%の誤り率を達成し、同タスクで現在までで最高の結果を記録した。
• 深層セグメント分類器から浅いネットワークへの知識蒸留により、効率的な推論が可能となり、蒸留された特徴が最終モデルの入力として使用された。
• ビームサーチは2番目のパスモデルの学習に不適切であることが判明した。これは、早期のパスプルーニングや非負のエッジ重みの問題により、効果的な勾配更新が得られないためである。