[論文レビュー] Data Augmentation for Training Dialog Models Robust to Speech Recognition Errors

Longshaokan Wang, Maryam Fazel-Zarandi+3 more|arXiv (Cornell University)|Jun 10, 2020

Topic Modeling参考文献 14被引用数 4

ひとこと要約

本稿では、誤りマトリクスベースの誤りシミュレータを用いてASRノイズをシミュレートすることで、自動音声認識（ASR）エラーに対する対話モデルのロバスト性を向上させるデータ拡張手法を提案する。この手法は、モデルアーキテクチャの変更や推論遅延の追加なしに、特にリソースが制限された状況下でもモデル性能を向上させる。

ABSTRACT

Speech-based virtual assistants, such as Amazon Alexa, Google assistant, and Apple Siri, typically convert users' audio signals to text data through automatic speech recognition (ASR) and feed the text to downstream dialog models for natural language understanding and response generation. The ASR output is error-prone; however, the downstream dialog models are often trained on error-free text data, making them sensitive to ASR errors during inference time. To bridge the gap and make dialog models more robust to ASR errors, we leverage an ASR error simulator to inject noise into the error-free text data, and subsequently train the dialog models with the augmented data. Compared to other approaches for handling ASR errors, such as using ASR lattice or end-to-end methods, our data augmentation approach does not require any modification to the ASR or downstream dialog models; our approach also does not introduce any additional latency during inference time. We perform extensive experiments on benchmark data and show that our approach improves the performance of downstream dialog models in the presence of ASR errors, and it is particularly effective in the low-resource situations where there are constraints on model size or the training data is scarce.

研究の動機と目的

• 推論時にASRエラーに対して感受性が高い対話モデルの課題に取り組むが、訓練時にはエラーのないテキストで学習されている。
• ASRラティスのアクセスを必要としたり、モデルの再訓練を要したり、追加の推論遅延を伴う既存手法の制限を克服する。
• 限られた訓練データや制限されたモデルサイズがある低リソース状況でも、ASRエラーに対するロバスト性を実現する。
• 任意の既存の対話モデルおよびASRシステムと互換性がある、即挿し可能なデータ拡張ソリューションを開発する。
• 小型・軽量モデルを含む、多様なモデルアーキテクチャに対して有効であることを示す。

提案手法

• 誤りマトリクスベースのASR誤りシミュレータを用い、クリーンな参照テキストに一般的な単語レベルの誤りを挿入することで、合成されたASR仮説を生成する。
• アラインされたASR仮説と参照テキストからn-gram誤りマトリクスを構築し、頻出する語の置換や誤りをモデル化する。
• 訓練時に誤りシミュレータを適用し、現実的なASRに似た変異を含むクリーンなテキストデータを拡張する。
• 対話モデル（例：意図分類用）を、元のデータと拡張済みデータの両方で訓練することで、ロバスト性を向上させる。
• モデルアーキテクチャと推論パイプラインをそのままで保ち、推論時に遅延の増加を防ぐ。
• 既存のASR仮説がある・ないの両方の状況をサポートし、多様な訓練データソースへの広範な適用性を実現する。

実験結果

リサーチクエスチョン

• RQ1 シミュレートされたASR誤りジェネレータを用いたデータ拡張は、実世界のASRエラーに対して対話モデルのロバスト性を向上させるか？
• RQ2 限られた訓練データや小型モデルアーキテクチャがある低リソース状況下で、本手法はどの程度有効か？
• RQ3 本手法は、小型モデルを含む多様な対話モデルアーキテクチャにおいて、性能向上を維持するか？
• RQ4 推論効率の観点から、ASRラティスを必要とする手法やエンドツーエンド統合を要する手法と比較して、本手法はどのように差をつけるか？
• RQ5 本手法は、音声埋め込みやマルチタスク学習などの他の技術と組み合わせることで、さらなる向上が得られるか？

主な発見

• 提案手法のデータ拡張により、ASRエラー下での対話モデル性能が顕著に向上し、BERTを用いて1%のデータでの学習時において、正解率が20.18%絶対的に向上した。
• シンプルなニューラルネットワーク（Simple NN）では、5%のデータでの学習時において、正解率が35.20%絶対的に向上し、低データ環境下での顕著な向上を示した。
• 軽量モデル（GloVe + 1層LSTM）では、S1で3.89%、S2で2.34%の絶対的向上を達成し、大規模事前学習埋め込みがなくても有効であることを示した。
• 性能向上は特にリソースが制限された状況で顕著であり、最小の訓練サブセットで最大の向上が観察された。
• モデルが単純化されても本手法は有効であるため、遅延やサイズに制限のある展開においても強い実用的価値を持つ。
• 本手法は、音声埋め込みやマルチタスク学習などの他の技術と相乗効果を示し、組み合わせることでさらなる向上が期待できる。