[論文レビュー] The Accented English Speech Recognition Challenge 2020: Open Datasets, Tracks, Baselines, Results and Methods

Xian Shi, Fan Yu+6 more|arXiv (Cornell University)|Feb 20, 2021

Speech Recognition and Synthesis参考文献 36被引用数 16

ひとこと要約

本論文は2020年 Accented English Speech Recognition Challenge を提示し、アクセント認識（トラック1）およびアクセント付き音声認識（トラック2）のための180時間のオープンデータセット（10種類の英語アクセント）を提供する。自己教師付き事前学習（例：wav2vec2.0）、データ拡張、ハイブリッドデコードを用いてエンドツーエンドASRモデルを評価し、2パスデコードで最大26.4%のWER低減、マルチタスクアクセント学習で3%の相対的WER低減を達成した。

ABSTRACT

The variety of accents has posed a big challenge to speech recognition. The Accented English Speech Recognition Challenge (AESRC2020) is designed for providing a common testbed and promoting accent-related research. Two tracks are set in the challenge -- English accent recognition (track 1) and accented English speech recognition (track 2). A set of 160 hours of accented English speech collected from 8 countries is released with labels as the training set. Another 20 hours of speech without labels is later released as the test set, including two unseen accents from another two countries used to test the model generalization ability in track 2. We also provide baseline systems for the participants. This paper first reviews the released dataset, track setups, baselines and then summarizes the challenge results and major techniques used in the submissions.

研究の動機と目的

• アクセント付き英語音声認識およびアクセント同定の分野における研究を前進させるための共通のテストベッドを確立すること。
• 10種類の英語アクセントを含む大規模かつ多様なデータセットを通じて、未学習のアクセントへのモデル一般化の課題に取り組むこと。
• 自己教師付き事前学習、データ拡張、エンドツーエンドモデル化の有効性を、リソースが限られたアクセント付きASRにおいて評価すること。
• 標準化された評価プロトコルの下で、変換器、コンフォーマ、ハイブリッドシステムを含む多様なアーキテクチャ間の性能を比較すること。

提案手法

• チャレンジは、8つのアクセント（中国語、アメリカ英語、イギリス英語、韓国語、日本語、ロシア語、インド英語、ポルトガル語）を含む160時間のトレーニングセットと、2つの追加の未知のアクセント（スペイン語、カナダ英語）を含む20時間のテストセットを使用する。
• ベースラインシステムは、文脈的な音声表現を学習するため、コントラスト損失と多様性損失を用いたWav2Vec2.0スタイルの自己教師付き事前学習を採用する。
• ボリュームおよびスピードの摺り替えなどのデータ拡張技術により、上位のシステムでWERが5–10%低減した。
• エンドツーエンドモデル、特に変換器ベースおよびコンフォーマアーキテクチャは、全系列モデリングとアテンション機構を活用し、従来のハイブリッドシステムを上回った。
• 言語モデルの再スコアリングを伴う2パスデコード（例：ワードピeceレベルの変換器言語モデルを用いる）により、WERが最大26.4%低減した。
• アクセント認識ヘッドを併用したマルチタスク学習により、アクセント付きASRで3%の相対的WER低減が得られ、明示的なアクセントモデリングの利点が示された。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習（例：wav2vec2.0）は、リソースが限られたアクセント付き英語音声のASR性能向上にどの程度有効であるか？
• RQ2 スピード摺り替えやノイズ注入などのデータ拡張技術は、アクセント付き音声認識における一般化性能をどの程度向上させるか？
• RQ3 アテンション機構を備えたエンドツーエンドモデルは、多言語アクセント認識において、従来のHMM-GMMハイブリッドシステムを上回ることができるか？
• RQ4 ニューラル言語モデルの再スコアリングを伴う2パスデコードは、アクセント付き音声認識におけるWER低減にどの程度寄与するか？
• RQ5 補助的なアクセント認識ヘッドを併用したマルチタスク学習は、未知のアクセントにおける性能向上に寄与するか？

主な発見

• コントラスト損失と多様性損失を用いた自己教師付き事前学習は、ASR性能を顕著に向上させ、Wav2Vec2.0ベースのモデルが最先端の結果を達成した。
• ボリュームおよびスピード摺り替えによるデータ拡張により、上位システムでWERが5–10%低減したが、ノイズおよびリバーブレーション拡張では明確な利益は認められなかった。
• 言語モデルの再スコアリングを伴う2パスデコードにより、最良のシステム（チームS2）でWERが最大26.4%低減した。
• ワードピeceレベルの変換器言語モデルと4-gram言語モデルの統合により、CVセットでWERが相対的に2.4%低減（3.73%から3.64%へ）。
• アクセント認識ヘッドを併用したマルチタスク学習により、3%の相対的WER低減が得られ、明示的なアクセントモデリングの価値が示された。
• コンフォーマおよびライト変換器バージョンが標準変換器を上回ったことから、局所的文脈モデリングの向上が性能向上に寄与することが示唆された。