[論文レビュー] Multilingual Speech Recognition using Knowledge Transfer across Learning Processes

Rimita Lahiri, Kenichi Kumatani+2 more|arXiv (Cornell University)|Oct 15, 2021

Speech Recognition and Synthesis参考文献 25被引用数 4

ひとこと要約

本稿では、自己教師あり学習（SSL）を活用し、言語IDのワンホットベクトルとメタラーニング手法（LEAP）を組み合わせることで、学習プロセス間の知識転送を促進する多言語音声認識フレームワークを提案する。この手法は、言語固有のタスク多様体上での期待される勾配パス長を最小化し、全体で3.55%の相対的WER削減を達成し、言語IDを用いることで3.51%の削減を実現。ベースラインのSSLおよびLEAP単体よりも優れた性能を発揮する。

ABSTRACT

Multilingual end-to-end(E2E) models have shown a great potential in the expansion of the language coverage in the realm of automatic speech recognition(ASR). In this paper, we aim to enhance the multilingual ASR performance in two ways, 1)studying the impact of feeding a one-hot vector identifying the language, 2)formulating the task with a meta-learning objective combined with self-supervised learning (SSL). We associate every language with a distinct task manifold and attempt to improve the performance by transferring knowledge across learning processes itself as compared to transferring through final model parameters. We employ this strategy on a dataset comprising of 6 languages for an in-domain ASR task, by minimizing an objective related to expected gradient path length. Experimental results reveal the best pre-training strategy resulting in 3.55% relative reduction in overall WER. A combination of LEAP and SSL yields 3.51% relative reduction in overall WER when using language ID.

研究の動機と目的

• 低リソースおよび不均衡な言語設定下での多言語音声認識（ASR）性能の向上を目的とする。
• 言語IDをワンホットベクトルとして条件づけることで、多言語ASRの精度が向上するかどうかを検証すること。
• 特にLEAPフレームワークを用いて期待される勾配パス長を最小化することにより、学習プロセス間の知識転送を検討すること。
• 自己教師あり学習（SSL）とメタラーニングを統合し、より良いクロスリンガル表現学習を実現すること。
• 言語ID、LEAP、SSLの組み合わせが複数言語にわたる語誤り率（WER）に与える影響を評価すること。

提案手法

• モデルは、TransformerエンコーダとLSTMデコーダを備えたTransformer Transducerアーキテクチャを採用し、エンドツーエンドで学習される。
• 言語IDがワンホットベクトルとして入力として注入され、各言語ごとの学習をガイドすることで、低リソース言語の表現が向上する。
• LEAPメタラーニングフレームワークを適用し、言語固有のタスクごとの訓練中に traversed される期待されるパス長を最小化することで初期化を最適化する。
• 自己教師あり学習（SSL）の事前学習は、大規模なラベルなし多言語データ上で実施され、その後、ラベル付きデータでのファインチューニングが行われる。
• トレーニングパイプラインは、反復的自己学習と事前学習を統合しており、ファインチューニングにはAdamW、LEAPにおけるメタ最適化にはAdamが使用される。
• 目的関数には、SSLの対照的損失とパス長正則化項を組み合わせ、言語タスク間での効率的学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 ワンホットベクトルとしての言語IDの注入が、特に低リソース言語において多言語ASR性能を向上させるか？
• RQ2 メタラーニング（LEAP）を用いた学習プロセス間の知識転送が、期待される勾配パス長を短縮し、多言語ASR精度を向上させるか？
• RQ3 LEAPと自己教師あり学習（SSL）を組み合わせることで、複数言語にわたるWERにどのような影響を与えるか？
• RQ4 LEAP-SSLによる性能向上が、言語ID情報の有無に依存するか？
• RQ5 SSL事前学習とファインチューニングに同じデータを使用する場合、多言語表現学習に与える影響は何か？

主な発見

• LEAPとSSLに加えて言語ID入力を組み合わせることで、全体の語誤り率（WER）が3.51%相対的に低減した。
• ワンホットベクトルとしての言語IDの使用は、ロシア語（RU）で21.06%、フランス語（FR-FR）で20.69%の相対的WER低減をもたらし、特定言語において顕著な向上を示した。
• 言語IDが存在しない状況では、LEAP-SSLが大多数の地域言語でわずかな性能低下を示した。これは、効果的なメタラーニング初期化のためには言語情報が不可欠であることを示唆している。
• SSL単体でも、言語IDが使われない場合を除き、すべての言語でWERが改善され、一般多言語表現学習の有効性を示している。
• 言語IDを組み合わせたLEAP-SSL手法は、PT-BRを除き、すべての言語で一貫したWER改善を達成した。
• 全体として最良の事前学習戦略は、3.55%の相対的WER低減を実現し、提案された知識転送メカニズムの有効性を裏付けた。