[論文レビュー] Improving End-To-End Modeling for Mispronunciation Detection with Effective Augmentation Mechanisms

Tien-Hong Lo, Yao‐Ting Sung+1 more|arXiv (Cornell University)|Oct 17, 2021

Speech Recognition and Synthesis参考文献 33被引用数 5

ひとこと要約

本稿では、事前学習済み音声認識モデルと参照トランスクリプトからの発音的・音韻論的知識を活用することで、エンド・ツー・エンド（E2E）誤発音検出（MD）モデルの性能を向上させる2つのデータ拡張戦略—入力拡張とラベル拡張—を提案する。L2-ARCTICデータセットを用いた実験の結果、限られたラベル付きL2音声データにもかかわらず、提案手法のE2Eモデルは最先端のE2E MDモデルおよびDNN-HMMベースラインを上回り、より高い頑健性と正確性を示した。

ABSTRACT

Recently, end-to-end (E2E) models, which allow to take spectral vector sequences of L2 (second-language) learners' utterances as input and produce the corresponding phone-level sequences as output, have attracted much research attention in developing mispronunciation detection (MD) systems. However, due to the lack of sufficient labeled speech data of L2 speakers for model estimation, E2E MD models are prone to overfitting in relation to conventional ones that are built on DNN-HMM acoustic models. To alleviate this critical issue, we in this paper propose two modeling strategies to enhance the discrimination capability of E2E MD models, each of which can implicitly leverage the phonetic and phonological traits encoded in a pretrained acoustic model and contained within reference transcripts of the training data, respectively. The first one is input augmentation, which aims to distill knowledge about phonetic discrimination from a DNN-HMM acoustic model. The second one is label augmentation, which manages to capture more phonological patterns from the transcripts of training data. A series of empirical experiments conducted on the L2-ARCTIC English dataset seem to confirm the efficacy of our E2E MD model when compared to some top-of-the-line E2E MD models and a classic pronunciation-scoring based method built on a DNN-HMM acoustic model.

研究の動機と目的

• ラベル付きL2音声データが不足していることによるE2E誤発音検出（MD）モデルの過学習を緩和すること。
• 既存のモデルとトランスクリプトから得られる発音的・音韻論的パターンを間接的に活用することで、E2E MDモデルの識別能力を向上させること。
• 追加のラベル付きデータを必要としない、効果的なデータ拡張技術の開発。
• 標準ベンチマークデータセット（L2-ARCTIC英語）上で提案手法の有効性を検証すること。

提案手法

• 入力拡張は、事前学習済みDNN-HMM音声認識モデルから得た発音的識別知識を抽出し、学習済み摂動を用いて入力スペクトル系列を変換することで実現される。
• ラベル拡張は、参照トランスクリプトからの音韻論的パターンを反映した、合成された音素レベルのラベルを生成することで訓練を強化する。
• E2Eモデルは、拡張された入力およびラベルデータを用いてエンド・ツー・エンドで訓練され、発音のばらつきに対してより頑健になる。
• 事前学習済み音声認識モデルの微調整を必要とせず、既存のE2Eフレームワークとの効率的かつ互換性のある統合を維持する。
• 拡張処理は訓練時のみに適用され、推論時やモデルアーキテクチャの変更は一切行わない。
• 本手法は、DNN-HMMモデルおよびトランスクリプト構造から得られる知識を、間接的にE2E MDシステムに転送する。

実験結果

リサーチクエスチョン

• RQ1 DNN-HMM音声認識モデルから導出される入力レベルのデータ拡張は、E2E MDモデルの発音的識別能力を向上させることができるか？
• RQ2 参照トランスクリプトに基づくラベルレベルのデータ拡張は、L2音声における音韻論的パターンの捉え込み能力を向上させることができるか？
• RQ3 両方の拡張戦略を組み合わせることで、ベースラインのE2EまたはDNN-HMMベースのMDシステムよりも優れた性能が得られるか？
• RQ4 限られたL2音声データにおいて、提案手法は一般化性能および頑健性の面でどのように比較されるか？

主な発見

• 入力拡張とラベル拡張を併用した提案E2E MDモデルは、L2-ARCTIC英語データセットにおいて、最先端のE2E MDモデルを上回る優れた性能を達成した。
• 古典的なDNN-HMMベースの発音スコアリング手法よりも優れた性能を示し、有効な拡張を用いたエンド・ツー・エンド学習の利点を実証した。
• 入力拡張のみを適用しても、DNN-HMMモデルからの発音的知識を活用することで、モデルの識別能力が向上した。
• ラベル拡張により、L2音声における音韻論的ばらつきへの一般化能力が向上した。
• 両方の拡張戦略を組み合わせた場合が最も優れた全体的な性能を示し、それらが補完的であることを確認した。