[論文レビュー] Data augmentation using prosody and false starts to recognize non-native children's speech

Hemant Kumar Kathania, Mittul Singh+2 more|arXiv (Cornell University)|Aug 29, 2020

Speech Recognition and Synthesis参考文献 20被引用数 15

ひとこと要約

本論文では、データ不足と誤りの多い発話行動（false starts）の問題に対処するため、プロソディに基づく音声拡張と言語モデルにおける部分語ノイズを組み合わせたデータ拡張手法を提案する。この手法により、非ネイティブな子供の発話における自動音声認識（ASR）性能が向上し、post-evaluationの改善後、WERは17.99%に低下し、INTERSPEECH 2020 共同課題で第3位を達成した。

ABSTRACT

This paper describes AaltoASR's speech recognition system for the INTERSPEECH 2020 shared task on Automatic Speech Recognition (ASR) for non-native children's speech. The task is to recognize non-native speech from children of various age groups given a limited amount of speech. Moreover, the speech being spontaneous has false starts transcribed as partial words, which in the test transcriptions leads to unseen partial words. To cope with these two challenges, we investigate a data augmentation-based approach. Firstly, we apply the prosody-based data augmentation to supplement the audio data. Secondly, we simulate false starts by introducing partial-word noise in the language modeling corpora creating new words. Acoustic models trained on prosody-based augmented data outperform the models using the baseline recipe or the SpecAugment-based augmentation. The partial-word noise also helps to improve the baseline language model. Our ASR system, a combination of these schemes, is placed third in the evaluation period and achieves the word error rate of 18.71%. Post-evaluation period, we observe that increasing the amounts of prosody-based augmented data leads to better performance. Furthermore, removing low-confidence-score words from hypotheses can lead to further gains. These two improvements lower the ASR error rate to 17.99%.

研究の動機と目的

• 少ないトランスクリプトデータと自発的発話行動による低リソースな非ネイティブ子供の発話認識の課題に対処する。
• 年齢層（9–16歳）にわたる聴取的変動と、子供の英語発話における非ネイティブ発音パターンに対処する。
• テストセットでは明示的にトランスクリプトされているが、学習時に見られない「誤りの多い発話（false starts）」や部分語に対して、ASRの耐性を高める。
• 外部リソースを一切使用せずに、音声認識と言語モデルの両方を強化するデータ拡張戦略を開発する。
• 非ネイティブ子供の発話認識に関するINTERSPEECH 2020 共同課題で最先端の性能を達成する。

提案手法

• TSMベースのアルゴリズムを用いて、ピッチと発話速度を変更することで、年齢層の違いを模倣するプロソディに基づくデータ拡張を実施する。
• プロソディベースの拡張とSpecAugmentを比較し、子供の発話の多様性をより効果的に捉えられることを確認した。
• 既存の語を断片に分割することで、言語モデルのコーパスに部分語ノイズを導入し、誤りの多い発話をシミュレートする。
• 拡張された音声データを用いて音声モデルを学習し、元のデータ、正規化されていないデータ、ノイズを含むデータの3種類の言語モデルを混合して訓練する。
• 信頼度スコアのフィルタリング機構を導入し、低信頼度の語をASRの仮説から除外することで、非英語語や不完全な出力による誤りを低減する。
• 複数のシステム（例：SR2-P2 + 信頼度フィルタリング）を統合することで、アンサンブルデコードによりWERをさらに改善する。

実験結果

リサーチクエスチョン

• RQ1 プロソディベースのデータ拡張は、標準的なSpecAugmentを上回って非ネイティブ子供の発話認識に効果を発揮するか？
• RQ2 言語モデルのコーパスに部分語ノイズを導入することで、誤りの多い発話や不完全な発話に対するASR性能にどのような影響を与えるか？
• RQ3 プロソディ拡張データの量を増やすことで一貫した性能向上が得られるか？また、SpecAugmentのスケーリングと比較するとどうなるか？
• RQ4 信頼度スコアのフィルタリングにより、低信頼度の仮説（特に非英語語や断片的な語）を除外することでWERが改善されるか？
• RQ5 低リソースで非ネイティブな子供の発話認識環境において、最適なデータ拡張とフィルタリング手法の組み合わせは何か？

主な発見

• プロソディ拡張データで学習した音声モデルは、ベースラインのレシピやSpecAugmentを用いたモデルを上回り、評価期間中にWERが18.71%に低下した。
• プロソディ拡張データの量を増やすことで一貫した性能向上が得られたが、一方でSpecAugmentのデータ量を増やすと結果が悪化した。これは過学習または不適切な拡張の影響を示唆している。
• 言語モデルのコーパスに部分語ノイズを導入することで、混合言語モデルの性能が向上し、特に統合システムの設定で顕著だった。
• 信頼度スコアのフィルタリング機構により、低信頼度語の除外が可能になり、最終的な誤り率がpost-evaluationの実験で17.99%に低下した。
• SR2-P2拡張、ノイズを含む言語モデル、信頼度フィルタリングを組み合わせた統合システムが、最も低いWER（17.99%）を達成し、複数のコンponentを組み合わせたデータ拡張の有効性を示した。
• 提案されたプロソディ拡張と誤りの多い発話シミュレーション手法は、再現可能性を高め、今後の子供の発話認識研究を支援するため、公開された。