[論文レビュー] Accent-Robust Automatic Speech Recognition Using Supervised and Unsupervised Wav2vec Embeddings

Jialu Li, Vimal Manohar+6 more|arXiv (Cornell University)|Oct 7, 2021

Speech Recognition and Synthesis参考文献 29被引用数 11

ひとこと要約

本稿では、教師ありおよび教師なしのwav2vec埋め込みを用いたドメイン適応型訓練（DAT）とマルチタスク学習（MTL）を活用したアクセントに強い自動音声認識（ASR）を提案する。DATと教師あり埋め込みを組み合わせた手法が全体的に最高の性能を示す一方、wav2vec埋め込みを用いたMTLは未学習のアクセントにおいて優れた性能を発揮し、ラベルが汚染されたり存在しなかったりする状況でもwav2vec埋め込みがラベル付き埋め込みを上回ることを示している。

ABSTRACT

Speech recognition models often obtain degraded performance when tested on speech with unseen accents. Domain-adversarial training (DAT) and multi-task learning (MTL) are two common approaches for building accent-robust ASR models. ASR models using accent embeddings is another approach for improving robustness to accents. In this study, we perform systematic comparisons of DAT and MTL approaches using a large volume of English accent corpus (4000 hours of US English speech and 1244 hours of 20 non-US-English accents speech). We explore embeddings trained under supervised and unsupervised settings: a separate embedding matrix trained using accent labels, and embeddings extracted from a fine-tuned wav2vec model. We find that our DAT model trained with supervised embeddings achieves the best performance overall and consistently provides benefits for all testing datasets, and our MTL model trained with wav2vec embeddings are helpful learning accent-invariant features and improving novel/unseen accents. We also illustrate that wav2vec embeddings have more advantages for building accent-robust ASR when no accent labels are available for training supervised embeddings.

研究の動機と目的

• 低リソース環境下で、特に未学習のアクセントに対して、多様な英語アクセントに強いASRを向上させること。
• DATとMTLを用いて、教師ありと教師なしのwav2vec埋め込みを系統的に比較し、アクセントに強いASRにおける性能を評価すること。
• ラベル品質が悪い場合やラベルが信頼できない・存在しない状況での、教師あり埋め込みの影響と、教師なしwav2vec埋め込みの利点を評価すること。
• wav2vec埋め込みが明示的なアクセントラベルなしでも、アクセントに依存しない表現を学習できるかどうかを調査すること。

提案手法

• アクセントに依存しない表現を学習するために、アクセント間での判別可能性を最小化するドメイン適応型訓練（DAT）を用いた、TransformerベースのCTC ASRモデルを訓練する。
• マルチタスク学習（MTL）を適用し、ASRモデルと付加的なアクセント分類ヘッドを同時に学習させることで、分離可能でアクセントに依存しない特徴を促進する。
• 教師あり埋め込みは、真のアクセントラベルに基づいて学習された別個の埋め込み行列によって得られ、教師なしのwav2vec埋め込みは、微調整されたwav2vec 2.0モデルから抽出される。
• 入力埋め込みと音声特徴を組み合わせるため、連結と重み付き和の両方の融合戦略を採用する。
• 特に米国以外のアクセントに対して、地域的類似性に基づいてラベルを再割り当てするアクセントリマップ技術を適用し、一般化性能を向上させる。
• アブレーションスタディでは、ラベルを10–50％汚染して現実のラベルノイズを模擬し、wav2vec埋め込みとの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 教師あり埋め込みを用いたドメイン適応型訓練（DAT）は、同じ埋め込みを用いたマルチタスク学習（MTL）を上回るのか？
• RQ2 教師ありラベル付き埋め込みと比較して、教師なしwav2vec埋め込みは、未学習のアクセントやラベルノイズに対してどれほど頑健か？
• RQ3 真のアクセントラベルが部分的に汚染されたり存在しなかったりする状況で、wav2vec埋め込みを使用することでどれほどの性能向上が得られるか？
• RQ4 アクセントリマップ技術は、DATおよびMTLフレームワークにおいて、米国以外の英語アクセントの一般化性能を向上させるか？
• RQ5 wav2vec埋め込みは、明示的なアクセントラベルなしでも、効果的にアクセントに依存しない表現を学習できるか？

主な発見

• 教師あり埋め込みを用いたDATモデルは、米国以外のアクセントで16.4%、全体で17.3%の最良のWERを達成し、他のすべての設定を上回る。
• wav2vec埋め込みを用いたMTLモデル（MTL2-w2v(S)）は、新規アクセントにおいて最良の性能を示し、ベースラインと比較してWERが16.3%に低下した。
• 訓練ラベルの10–25％が汚染された場合、wav2vec埋め込みは常にラベル付き埋め込みを上回り、ラベル付き埋め込みのWERは25％の汚染で17.3％に上昇したが、wav2vec埋め込みのWERは17.3％で安定した。
• アクセントリマップ技術は、米国以外のアクセントにおいて性能を向上させ、特にDAT3-w2v(S)およびMTL3-w2v(S)で、非米国アクセントおよび新規アクセントにおいて最大0.3%のWER低下を達成した。
• 未学習の埋め込みは、en_us埋め込みよりも新規アクセントで優れた性能を示しており、単一のアクセントから微調整された埋め込みよりも、事前学習済みのwav2vec表現の方が一般化性能に優れていることを示している。
• アブレーションスタディにより、wav2vec埋め込みはラベルノイズ下でもラベル付き埋め込みよりも頑健であることが確認され、50％のラベル汚染下でもwav2vecのWERは17.3％で安定した。