[論文レビュー] XLST: Cross-lingual Self-training to Learn Multilingual Representation for Low Resource Speech Recognition

Ziqiang Zhang, Yan Song+3 more|arXiv (Cornell University)|Mar 15, 2021

Speech Recognition and Synthesis参考文献 43被引用数 8

ひとこと要約

本論文では、高資源言語（例：英語）の少量のアノテート済みデータと大規模な非アノテート多言語データを活用することで、多言語音声表現学習を向上させるクロスリンガル自己学習フレームワークXLSTを提案する。移動平均ターゲットネットワークとマルチビューのデータ拡張を用いた教師-生徒設定により、5つの低リソースASRタスクにおいて、最先端の自己教師付き手法よりも18.6%相対的なWER削減を達成し、モデルサイズが小さい状況でも顕著な向上を示した。

ABSTRACT

In this paper, we propose a weakly supervised multilingual representation learning framework, called cross-lingual self-training (XLST). XLST is able to utilize a small amount of annotated data from high-resource languages to improve the representation learning on multilingual un-annotated data. Specifically, XLST uses a supervised trained model to produce initial representations and another model to learn from them, by maximizing the similarity between output embeddings of these two models. Furthermore, the moving average mechanism and multi-view data augmentation are employed, which are experimentally shown to be crucial to XLST. Comprehensive experiments have been conducted on the CommonVoice corpus to evaluate the effectiveness of XLST. Results on 5 downstream low-resource ASR tasks shows that our multilingual pretrained model achieves relatively 18.6% PER reduction over the state-of-the-art self-supervised method, with leveraging additional 100 hours of annotated English data.

研究の動機と目的

• ほとんどの言語でアノテート済みデータが不足する低リソース音声認識の課題に対処すること。
• 高リソース言語からの少量のアノテート済みデータを活用して、多言語表現学習を向上させること。
• 並列データを必要とせず、言語間で知識を転送する弱教師付き事前学習フレームワークを開発すること。
• 移動平均とマルチビューのデータ拡張がクロスリンガル表現学習に与える影響を調査すること。

提案手法

• XLSTは、同一入力を異なる拡張ビューから得るフレームレベルの埋め込みを出力する生徒モデルとターゲットネットワーク（教師）からなる二重ネットワーク構造を採用する。
• 損失関数は、生徒の出力とターゲットネットワークの出力の類似度の逆数として定義され、生徒が継続的に更新される洗練されたターゲットから学習するよう促進する。
• 移動平均機構により、生徒のパラメータの重み付き平均を用いてターゲットネットワークのパラメータを更新し、訓練の安定性を高め、性能を向上させる。
• 時間領域のスパンマスキングと周波数マスキングを用いたマルチビューのデータ拡張を適用し、耐性と文脈モデリングを向上させる。
• 同じサンプルの異なる拡張ビュー間の一致を最大化する対照的損失に類似した損失関数を用いて、エンドツーエンドで訓練する。
• 本フレームワークは多言語設定で適用され、教師は高リソース言語（例：英語）から初期化され、生徒は複数の低リソース言語の非アノテートデータから学習する。

実験結果

リサーチクエスチョン

• RQ1 高リソース言語からの少量のアノテート済みデータが、低リソース言語における多言語表現学習を向上させることができるか？
• RQ2 自己教師付き事前学習と比較して、クロスリンガル自己学習は多言語ASRにおいてどのように性能を発揮するか？
• RQ3 移動平均とマルチビューのデータ拡張がXLSTの性能に与える影響は何か？
• RQ4 XLSTは、単言語または多言語自己教師付き事前学習と比較して、低リソースASRタスクにおいてより一般化性能が優れているか？

主な発見

• XLSTは、100時間の追加英語アノテーションを用いて、5つの低リソースASRタスクにおいて、最先端の自己教師付き手法XLSR-10よりも18.6%相対的なWER削減を達成した。
• 多言語事前学習モデル（XLST-Multi）は、最良の英語専用事前学習モデル（ST-en1250）と比較して34.7%相対的なWER削減を達成した。
• 移動平均機構は、言語の不一致により初期ターゲット品質が悪くなる状況において、特に性能向上に寄与するが、単言語事前学習では恩恵をもたらさない。
• 時間次元におけるスパンマスキングが最も効果的なデータ拡張戦略であり、拡張なしと比較して平均下流WERを6.8%削減した。
• XLST-mono（単言語事前学習）はXLSR-単言語と同等の性能を発揮し、より少ないデータと小さなモデルでUnispeech+を上回る性能を達成した。
• アブレーションスタディの結果、移動平均とマルチビュー拡張の両方が不可欠であり、組み合わせが5つの低リソース言語すべてで最良の結果をもたらした。