[論文レビュー] Accented Speech Recognition: Benchmarking, Pre-training, and Diverse Data

Alëna Aksënova, Zhehuai Chen+9 more|arXiv (Cornell University)|May 16, 2022

Speech Recognition and Synthesis被引用数 12

ひとこと要約

本稿は、多様な発音を持つ話者の音声認識を評価するベンチマークを構築し、wav2vec 2.0の事前学習に多様なデータタイプ（例：合成音声、自然な会話、発音の異なる話者）を用いることで、包摂的自動音声認識（ASR）を前進させる。また、代表されない言語的コーパスの調査も行っている。事前学習に多様で非ネイティブ、または発音の異なるデータを用いることで、標準的なデータセットの性能を損なわず、発音の異なる話者向けのベンチマークで単語誤り率（WER）が顕著に低下することが示された。これは、公平なASRシステムを実現するため、データの多様性と強固な事前学習の重要性を強調している。

ABSTRACT

Building inclusive speech recognition systems is a crucial step towards developing technologies that speakers of all language varieties can use. Therefore, ASR systems must work for everybody independently of the way they speak. To accomplish this goal, there should be available data sets representing language varieties, and also an understanding of model configuration that is the most helpful in achieving robust understanding of all types of speech. However, there are not enough data sets for accented speech, and for the ones that are already available, more training approaches need to be explored to improve the quality of accented speech recognition. In this paper, we discuss recent progress towards developing more inclusive ASR systems, namely, the importance of building new data sets representing linguistic diversity, and exploring novel training approaches to improve performance for all users. We address recent directions within benchmarking ASR systems for accented speech, measure the effects of wav2vec 2.0 pre-training on accented speech recognition, and highlight corpora relevant for diverse ASR evaluations.

研究の動機と目的

• ASRシステムにおける発音の異なる話者や多様な発音のデータ、ベンチマークの不足を是正すること。
• 非ネイティブ話者や地域的発音の認識性能に与えるwav2vec 2.0の事前学習戦略の影響を評価すること。
• 社会的方言、非ネイティブ話者、および言語障害を含む言語的多様性を反映する既存のコーパスを特定・調査すること。
• データ駆動型の事前学習と評価手法を用いて、代表されない発音の多様性に対するモデルの耐性を高めること。
• 研究者、言語学者、コミュニティが連携してデータ収集を拡大し、ASRにおける公平性を向上させること。

提案手法

• アフリカ系アメリカー語（AAVE）、非ネイティブ英語、地域的発音を代表する複数のテストセットを用いたASRシステムのベンチマーク化。
• Libri-Light、YT-U（YouTubeの自己教師付き学習）、合成音声を含む多様なデータソースを用いたwav2vec 2.0の事前学習の評価。
• 発音の異なる話者向けデータでモデルを微調整するためのノイジィ・スタディオ自己学習（NST）を適用し、標準的なデータセットのWERを増加させることなく一般化性能を向上。
• 性別、地域、言語の多様性といったデモグラフィックおよび言語的要因を分析し、バイアスの原因を特定する。
• AAVE、非ネイティブ話者、言語障害、社会的方言を含む言語的多様性に基づいて、公開済みコーパスを調査・分類。
• 多様なメタデータのアノテーションを活用し、言語的および音声的次元における認識エラーを多面的に分析。

実験結果

リサーチクエスチョン

• RQ1 多様で非ネイティブ、または発音の異なるデータを用いたwav2vec 2.0の事前学習が、発音の異なる話者向けベンチマークでのASR性能に与える影響は何か？
• RQ2 自然な会話、合成音声、自己教師付き学習といった異なる事前学習データタイプが、非ネイティブ話者や地域的発音の認識精度に与える影響は何か？
• RQ3 AAVE、非ネイティブ話者、言語障害を含む、代表されない言語的多様性を最もよく反映している既存のコーパスはどれか？
• RQ4 モデルの性能が地域、性別、発音といったデモグラフィックおよび言語的要因によってどの程度変動するか、また、ベンチマーク作成においてその要因をどのように特定できるか？
• RQ5 共同でのデータ収集とメタデータのアノテーションは、多様な発音の多様性を対象としたASRシステムにおける公平性と耐性をどの程度向上させられるか？

主な発見

• YouTube自己教師付き学習データ（YT-U）で事前学習した場合、GMU AccentテストセットのWERは4.0%に低下した。一方、Libri-Lightで事前学習した場合は5.4%であった。
• YT-Uで事前学習した上でノイジィ・スタディオ自己学習（NST）を適用した場合、GMU AccentではWERが4.0%、CORAAL:ATLでは12.5%、CORAAL:DCBでは14.0%にさらに低下した。
• 合成音声または自然な会話のデータで事前学習することで、発音の異なる話者の認識性能が向上したが、標準的なベンチマークのWERは上昇しなかった。これは、耐性と一般化能力の向上を示している。
• CORAALコーパスでは、AAVEに顕著な地域差が認められ、異なるメトロポリタン地域間でWERは16.6%から24.7%の範囲で変動した。
• IFCASL、Euphonia、Whitakerコーパスは非ネイティブ話者および言語障害者向けの重要なデータを提供しているが、カバー範囲は依然として限定的である。
• 本研究は、現在のベンチマークが言語的多様性を適切に反映していないことが多く、結果としてデモグラフィックおよび言語的グループ間で隠れた性能差が生じていることを強調している。