[論文レビュー] Phoneme recognition in TIMIT with BLSTM-CTC

Santiago Fernández, Alex Graves+1 more|ArXiv.org|Apr 21, 2008

Speech Recognition and Synthesis参考文献 13被引用数 30

ひとこと要約

本稿では、TIMITデータセットにおける発音子認識のための単一のBLSTM-CTC再帰的ニューラルネットワークを提示する。前缀探索デコードを用いることで、24.58%のラベル誤り率（LER）を達成し、セグメンテーション処理や明示的なアラインメントを必要としない、最先端のシステムと同等の性能を発揮する。本手法は、接続主義的時系列分類（CTC）を用いることで、生の音響シーケンスと発音子ラベルに対するエンドツーエンド学習を可能にする。

ABSTRACT

We compare the performance of a recurrent neural network with the best results published so far on phoneme recognition in the TIMIT database. These published results have been obtained with a combination of classifiers. However, in this paper we apply a single recurrent neural network to the same task. Our recurrent neural network attains an error rate of 24.6%. This result is not significantly different from that obtained by the other best methods, but they rely on a combination of classifiers for achieving comparable performance.

研究の動機と目的

• TIMITにおけるエンドツーエンド発音子認識のための単一の再帰的ニューラルネットワークとCTCの評価を目的とする。
• 複数の分類器を用いる最先端のシステムと比較して、BLSTM-CTCモデルの性能を評価することを目的とする。
• データのセグメンテーションや明示的なアラインメントを必要としない単一のニューラルネットワークが、複雑な委員会ベースのシステムと同等またはそれ以上の性能を発揮できるかどうかを評価することを目的とする。
• 標準化されたTIMITの分割と39音素の発音的インベントリを用いて、手法の妥当性を検証することを目的とする。

提案手法

• 双方向LSTM（BLSTM）ネットワークが、39次元のMFCC特徴（デルタおよび加速度係数を含む）の入力シーケンスを処理する。
• ネットワークは、フレームレベルのアラインメントを必要としないエンドツーエンド学習を可能にするために、接続主義的時系列分類（CTC）を目的関数として用いる。
• 出力層は39の発音カテゴリと1つのブランク記号の合計40ユニットを出力し、可変長のアラインメントをモデル化する。
• 推論の改善のため、前缀探索デコードを適用し、誤り伝搬を低減するための高い活性化閾値（0.9999）を用いる。
• 正則化のため、重み減衰、モーメンタム、入力ノイズ（σ = 0.6）を用いた確率的勾配降下法でモデルを学習する。
• データはトレーニングセット全体にわたり特徴ごとに正規化され、標準的なTIMITの分割（トレーニング3696、検証400、テスト192）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 単一のBLSTM-CTCネットワークは、TIMITにおける最先端の発音子認識システムと同等の性能を達成できるか？
• RQ2 CTCの使用により、セグメンテーション処理や明示的なフレームレベルのアノテーションを必要とせずに、効果的なエンドツーエンド学習が可能になるか？
• RQ3 前缀探索デコードは、ベストパスデコードと比較して、誤り率の低減にどの程度寄与するか？
• RQ4 BLSTM-CTCモデルの性能は、Glassの委員会ベース分類器やDengらのHTM-HMMシステムと著しく異なるか？

主な発見

• BLSTM-CTCモデルは、前缀探索デコードを用いて24.58%のラベル誤り率（LER）を達成し、文献で報告された最高水準の結果と有意差がない。
• モデルの性能（24.58%）は、Glassの委員会ベース分類器（24.4%）およびDengらのHTM-HMMシステム（24.93%）と統計的に区別できない。
• ベストパスデコードでは25.17%の高い誤り率が得られたため、前缀探索デコードが一般化性能とロバストネスを向上させていることが示された。
• BLSTM-CTCシステムは、p値 < 3×10⁻⁸という極めて有意な有意差を示して、ベースラインHMM（28.57% LER）を著しく上回った。
• 複数の分類器やデータ拡張、複雑な融合戦略に依存せずに、競争力のある性能を達成した。
• 結果から、CTCを用いたエンドツーエンド学習が可能な単一の再帰的ネットワークが、TIMIT発音子認識において複雑なマルチコンponentシステムと同等の性能を発揮できることを示した。