[論文レビュー] Multi-head Monotonic Chunkwise Attention For Online Speech Recognition

Baiji Liu, Songjun Cao+3 more|arXiv (Cornell University)|May 1, 2020

Speech Recognition and Synthesis参考文献 22被引用数 13

ひとこと要約

本稿では、オンライン音声認識モデルとして、固定サイズの入力チャンクにマルチヘッドアテンションを適用することでMoChAを改善した、Multi-head Monotonic Chunkwise Attention (MTH-MoChA)を提案する。これにより、効率的なストリーミング推論が可能となる。LSTMプーリング、SpecAugment、最小単語誤り率（MWER）学習といった追加の訓練戦略を用いることで、18,000時間の車内データセット上で文字誤り率（CER）を7.28%まで低減し、最先端のハイブリッドシステムを上回った。

ABSTRACT

The attention mechanism of the Listen, Attend and Spell (LAS) model requires the whole input sequence to calculate the attention context and thus is not suitable for online speech recognition. To deal with this problem, we propose multi-head monotonic chunk-wise attention (MTH-MoChA), an improved version of MoChA. MTH-MoChA splits the input sequence into small chunks and computes multi-head attentions over the chunks. We also explore useful training strategies such as LSTM pooling, minimum world error rate training and SpecAugment to further improve the performance of MTH-MoChA. Experiments on AISHELL-1 data show that the proposed model, along with the training strategies, improve the character error rate (CER) of MoChA from 8.96% to 7.68% on test set. On another 18000 hours in-car speech data set, MTH-MoChA obtains 7.28% CER, which is significantly better than a state-of-the-art hybrid system.

研究の動機と目的

• 標準的なアテンション機構が、出力を生成する前に入力シーケンス全体を必要とすることによる制限を解消すること。
• 1ヘッドアテンションと1チャンクあたりの制限されたコンテキストに縛られるモノトニックチャンクワイズアテンション（MoChA）の表現力と性能を向上させること。
• 外部言語モデルを用いずに、競争力のある性能を達成するストリーミングエンドツーエンドASRモデルを開発すること。
• MTH-MoChAおよび補助的な訓練戦略の有効性を、低リソース（AISHELL-1）および大規模（InCar）データセットの両方で評価すること。

提案手法

• MTH-MoChAは、エンコーダーの隠れ状態シーケンスを固定サイズのチャンクに分割し、これらのチャンクに対してマルチヘッドアテンションを適用することで、同時に複数の関連領域に注目できるようにする。
• アテンションヘッド間で共有パラメータを用いることで、モデルのロバストネスを向上させるとともに、過学習を低減しつつ計算効率を維持する。
• エンコーダー層の間にLSTMプーリングを適用し、シーケンス長を短縮し、推論時の計算コストを低減する。
• 訓練時にSpecAugmentを用いてスペクトログラム特徴を拡張し、一般化性能を向上させる。
• ラベルスムージングおよび最小単語誤り率（MWER）学習を適用することで、モデルのロバストネスを向上させ、単語レベルの誤り指標に最適化を一致させる。
• モデルはLingvoツールキットを用いて学習され、AISHELL-1および2つの車内データセット（InCar2000およびInCar18000）で評価された。

実験結果

リサーチクエスチョン

• RQ1 固定サイズのチャンクにマルチヘッドアテンションを適用することで、オンライン音声認識におけるモノトニックチャンクワイズアテンション（MoChA）の性能が向上するか？
• RQ2 アテンションヘッド間で共有パラメータを使用することで、ストリーミングASRにおけるモデルのロバストネスと一般化性能が向上するか？
• RQ3 SpecAugment、ラベルスムージング、MWER学習といった訓練戦略が、MTH-MoChAの性能にどの程度寄与するか？
• RQ4 外部言語モデルを用いずに、MTH-MoChAはTDNN-OPGRUのような強力なハイブリッドシステムを上回るか？
• RQ5 短い発話と多様な語彙を特徴とする大規模で現実世界の車内音声データに対して、MTH-MoChAはどの程度スケーリング可能か？

主な発見

• AISHELL-1のテストセットでは、最適化された訓練を施したMTH-MoChAは、ベースラインのMoChA（CER 8.96%）からCERを7.68%まで低下させ、顕著な向上を示した。
• 18,000時間の車内データセットでは、MTH-MoChAはCER 7.28%を達成し、LF-MMIE基準で学習された最先端のハイブリッドシステムを上回った。
• LSTMプーリングとMWER学習の組み合わせにより、InCar18000データセットでベースラインMTH-MoChAモデル比でCERが9.09%相対的に低減した。
• InCar2000データセットでは、MTH-MoChAはMoChA比でCERを21.62%相対的に低減し、短い発話において顕著な向上を示した。
• 外部言語モデルを用いずに競争力ある性能を達成したため、エンドツーエンドストリーミングASRにおける強力な内在的モデリング能力を示している。
• 結果から、MTH-MoChAは発話長が短く語彙が多様な低リソースおよび現実世界の車内環境において特に効果的であることが示された。