[論文レビュー] Joint Modeling of Accents and Acoustics for Multi-Accent Speech Recognition

Xuesong Yang, Kartik Audhkhasi+4 more|arXiv (Cornell University)|Feb 7, 2018

Speech Recognition and Synthesis参考文献 20被引用数 5

ひとこと要約

本論文は、双方向LSTMと接続主義的時系列分類（CTC）損失を用いて、音声認識モデルと発音識別（AID）モデルを同時に学習する統合的エンドツーエンド学習フレームワークを提案する。訓練中にAIDを補助的タスクとして用い、予測された発音に基づくハードスイッチング機構を適用することで、強力なマルチタスクベースラインに対して、イギリス英語で5.94%、アメリカ英語で9.47%の相対的WER改善を達成した。これは、明示的な発音の監視がASRとAIDの両方の性能を向上させることを示している。

ABSTRACT

The performance of automatic speech recognition systems degrades with increasing mismatch between the training and testing scenarios. Differences in speaker accents are a significant source of such mismatch. The traditional approach to deal with multiple accents involves pooling data from several accents during training and building a single model in multi-task fashion, where tasks correspond to individual accents. In this paper, we explore an alternate model where we jointly learn an accent classifier and a multi-task acoustic model. Experiments on the American English Wall Street Journal and British English Cambridge corpora demonstrate that our joint model outperforms the strong multi-task acoustic model baseline. We obtain a 5.94% relative improvement in word error rate on British English, and 9.47% relative improvement on American English. This illustrates that jointly modeling with accent information improves acoustic model performance.

研究の動機と目的

• 訓練データとテストデータの間で発音の不一致が引き起こす自動音声認識（ASR）性能の低下を是正すること。
• 音声認識モデルの訓練段階で発音情報を明示的にモデル化することで、複数の発音に対する認識精度の向上が可能かどうかを調査すること。
• マルチ発音ASRと発音識別（AID）の両タスクにおける共同学習の相互利益を探索すること。
• 予測された発音に基づいて発音固有の出力層を選択するハードスイッチング戦略を開発し、発音のばらつきに対するロバスト性を向上させること。
• 補助的AID学習がマルチ発音環境下での共有音声特徴の表現力を高めることを実証すること。

提案手法

• 双方向LSTM（BLSTM）音声認識モデルをCTC損失で訓練し、音声特徴を発音系列にマッピングする。
• 補助的AIDネットワークは、BLSTM出力の平均プーリングを用いて発話レベルの発音埋め込みを生成し、分類に用いる。
• 統合モデルでは、下位層をCTC損失（主タスク）とAID損失（補助タスク）の両方で訓練し、ハイパーパramータ α を用いた損失の重み付き和を用いる。
• 推論段階では、AIDネットワークから予測された発音に基づいて、CTCモデルの発音固有の出力層をハードスイッチングで選択する。
• Wall Street Journal（アメリカ英語）およびCambridge（イギリス英語）コーパスを用い、両タスクの監視に発音ラベルを用いる。
• ASRとAIDの最適なトレードオフは α = 0.001 で達成され、語誤り率（WER）が最小化され、AID精度が最大化される。

実験結果

リサーチクエスチョン

• RQ1 標準的なマルチタスク学習と比較して、音声認識モデリングと発音識別を共同で学習することで、マルチ発音ASR性能が向上するか？
• RQ2 発音予測を補助的タスクとして用いることで、共有ネットワーク層における発音に依存しない特徴と発音固有の特徴の学習が向上するか？
• RQ3 予測された発音に基づくハードスイッチング戦略を用いた場合、統合モデルの性能はベースラインモデルと比べてどの程度向上するか？
• RQ4 共同学習が発音識別システム自体の精度をどの程度向上させるか？
• RQ5 共同学習の過程で、音声認識と発音識別損失の最適なバランスは何か？

主な発見

• 統合モデルは、強力なマルチタスク音声認識モデルベースラインと比較して、イギリス英語で5.94%、アメリカ英語で9.47%の相対的語誤り率（WER）改善を達成した。
• オラクル性能では、統合モデルは発音固有モデル（ASpec）を平均で17.97%、マルチタスクモデル（MTLP）を6.81%の相対的WER改善で上回った。
• 独立したAIDモデルを用いてハードスイッチングを行う場合、統合モデルはアメリカ英語でASpecに対して22.52%、MTLPベースライン（14.41%改善）を上回る相対的WER改善を達成した。
• 最適なAID損失重み α = 0.001 では、最小WERが8.9%に低下し、AID精度が97.77%に達した。また、αの広い範囲で92%以上の高い精度が維持された。
• 統合モデルはAID性能を顕著に向上させ、α = 0.005 時に97.77%の精度を達成した。これは、共同学習がASRとAIDの両タスクを強化することを示している。
• 結果から、訓練段階での明示的な発音の監視が特徴学習を向上させること、共有層が表現力のある発音に依存しない表現を捉え、発音固有のモデルを精緻化することを示している。