[論文レビュー] Applying Wav2vec2.0 to Speech Recognition in Various Low-resource Languages

Yi Cheng, Wang Jian-zhong+3 more|arXiv (Cornell University)|Dec 22, 2020

Speech Recognition and Synthesis参考文献 24被引用数 57

ひとこと要約

この論文は事前学習済み wav2vec2.0 モデルを低リソースASRに適用し、六つの実際の話し言語で前研究を大幅に上回る利得を示し、粗粒度単位と自己教師付き事前学習が有利であることを示す。

ABSTRACT

There are several domains that own corresponding widely used feature extractors, such as ResNet, BERT, and GPT-x. These models are usually pre-trained on large amounts of unlabeled data by self-supervision and can be effectively applied to downstream tasks. In the speech domain, wav2vec2.0 starts to show its powerful representation ability and feasibility of ultra-low resource speech recognition on the Librispeech corpus, which belongs to the audiobook domain. However, wav2vec2.0 has not been examined on real spoken scenarios and languages other than English. To verify its universality over languages, we apply pre-trained models to solve low-resource speech recognition tasks in various spoken languages. We achieve more than 20% relative improvements in six languages compared with previous work. Among these languages, English achieves a gain of 52.4%. Moreover, using coarse-grained modeling units, such as subword or character, achieves better results than fine-grained modeling units, such as phone or letter.

研究の動機と目的

• 複数言語に跨る実際の低リソースASRでwav2vec2.0の有効性を示す。
• 出力モデリング単位（サブワード/文字 vs. 文字/音素）の違いが性能に与える影響を評価する。
• 低リソースASRにおけるエンコーダーのみ vs. エンコーダ-デコーダー構成を評価する。
• 低リソース設定で自己教師付き事前学習と教師あり事前学習を比較する。

提案手法

• 事前学習済み wav2vec2.0-base および wav2vec2.0-large をエンコーダとして使用する。
• CTC またはクロスエントロピー損失でファインチューニングし、デコード時にLMをオプションで併用する。
• 粗粒度単位（サブワード/文字）と細粒度単位（文字/音素）を用いた実験を行う。
• ASR出力のために追加の射影層や注意機構ベースのデコーダをオプションで追加する。
• ターゲット言語データと非ターゲット言語データで自己教師付き事前学習と教師あり事前学習を比較する。

実験結果

リサーチクエスチョン

• RQ1 英語で事前学習した wav2vec2.0 は、実際の話し言データを用いた六つの低リソース言語のASR を効果的に解決できるか。
• RQ2 低リソースASRにおいて、粗粒度単位（サブワード/文字）は細粒度単位（文字/音素/フォン）より優れているか。
• RQ3 低リソースASRにおけるエンコーダーオンリー vs エンコーダ-デコーダー構成の影響は何か。
• RQ4 低リソース言語において自己教師付き事前学習は教師あり事前学習とどのように比較されるか。

主な発見

モデル	AR	EN	MA	JA	GE	SP
mlstm-residual [2]	56.47	43.93	45.85	50.13	51.75	53.38
Speech-Transformer [3]	48.35	33.77	37.62	36.99	44.98	51.54
wav2vec2.0-base + ctc (letter/phone) + LM decode	40.73	21.83	33.57	38.24	29.88	45.92
wav2vec2.0-base + ctc (subword/char) + LM decode	50.67	24.93	36.06	37.70	41.77	52.53
wav2vec2.0-large + ctc (letter/char) + LM decode	42.44	17.65	28.75	28.69	40.27	47.36
wav2vec2.0-large + LM decode (ctc/letter/char)	35.62	16.07	28.16	28.32	25.70	39.11

• wav2vec2.0モデルはCALLHOMEの六言語すべてで先行研究を上回る。wav2vec2.0-large が最大の利得をもたらす。
• 英語では従来法と比べて相対改善52.4%、ドイツ語でも42.9%の顕著な利得。
• これらの低リソース設定では、粗粒度モデリング単位（サブワード/文字）が細粒度単位（文字/音素）より一般的に良い性能を示す。
• 低リソースデータでは、CTC/LMデコード付きのエンコーダーのみの設定がエンコーダ-デコーダーの変種より優れており、データが不足するとデコーダを追加すると性能が低下することがある。
• 大規模多言語データでの自己教師付き事前学習は、ターゲットに似たデータでの教師あり事前学習よりも優れる可能性があり、堅牢な言語間音響表現を示唆する。