[論文レビュー] Transfer Learning Approaches for Streaming End-to-End Speech Recognition System

Vikas Joshi, Rui Zhao+3 more|arXiv (Cornell University)|Aug 12, 2020

Speech Recognition and Synthesis参考文献 31被引用数 7

ひとこと要約

本論文は、RNN-Tモデルを用いたストリーミングエンドツーエンド音声認識における転移学習（TL）戦略を提案および評価し、特にヒンディー語（hi-IN）のような低リソース言語に対して効果を検証している。特に、発音記号（grapheme）を用いた二段階のTLアプローチにより、事前学習済み英語（en-US）モデルをエンコーダーおよび予測ネットワークに初期化することで、ランダム初期化に比べて最大17.4%の相対的語誤り率（WER）低減と、より速い学習収束を達成した。

ABSTRACT

Transfer learning (TL) is widely used in conventional hybrid automatic speech recognition (ASR) system, to transfer the knowledge from source to target language. TL can be applied to end-to-end (E2E) ASR system such as recurrent neural network transducer (RNN-T) models, by initializing the encoder and/or prediction network of the target language with the pre-trained models from source language. In the hybrid ASR system, transfer learning is typically done by initializing the target language acoustic model (AM) with source language AM. Several transfer learning strategies exist in the case of the RNN-T framework, depending upon the choice of the initialization model for encoder and prediction networks. This paper presents a comparative study of four different TL methods for RNN-T framework. We show 17% relative word error rate reduction with different TL methods over randomly initialized RNN-T model. We also study the impact of TL with varying amount of training data ranging from 50 hours to 1000 hours and show the efficacy of TL for languages with small amount of training data.

研究の動機と目的

• 少ないトランスクリプトデータしかない低リソース言語向けに、堅牢なエンドツーエンドASRモデルを訓練する課題に対処すること。
• 低リソースRNN-Tシステムにおける学習の安定化と性能向上の手段として、転移学習を調査すること。
• 直接初期化と二段階微調整を含む複数のTL戦略を評価し、最も効果的なアプローチを同定すること。
• 50〜1000時間の訓練データというさまざまなデータスケールにおいて、TLの有効性を示すこと。
• 精度と収束性の観点から、ランダム初期化およびハイブリッドASRモデルと比較して、TLによる性能向上を検証すること。

提案手法

• ターゲット言語（hi-IN）のRNN-Tモデルのエンコーダーおよび／または予測ネットワークを、ソース言語（en-US）モデルの事前学習済み重みで初期化することで、転移学習を適用する。
• 二段階転移学習を実装：まず、ターゲット言語モデル（hi-IN）を、事前学習済みen-USモデルをバックボーンとして用いて事前学習し、その後、ターゲットデータでフルRNN-Tを微調整する。
• 二段階事前学習段階では、アライメントと表現学習の向上を図るため、発音記号レベルのターゲットを用いる。
• 4つのTL戦略を比較：en-USエンコーダーのみの初期化、en-US RNN-T結合モデルの初期化、senoneおよび発音記号ターゲットを用いた二段階TL、およびhi-IN言語モデルを用いたハイブリッド初期化。
• 収束性と性能の公平な比較を保つために、同じハイパーパrameter（学習率、バッチサイズ）でモデルを訓練する。
• 特徴量として80次元のログメルフィルタバンク特徴量を用い、フレームスキッピングを2倍に設定し、デコードには5-gram言語モデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化と比較して、低リソースRNN-Tモデルにおける転移学習は、語誤り率（WER）低減にどの程度効果的か？
• RQ2 直接初期化と二段階微調整のどちらの転移学習戦略が、より低いWERとより速い学習収束をもたらすか？
• RQ3 特に50〜1000時間の範囲で、訓練データ量の減少に伴い、転移学習の性能はどのように変化するか？
• RQ4 両方のモジュールを共同で訓練しているにもかかわらず、en-US CE初期化がen-US RNN-T初期化を上回る理由は何か？
• RQ5 事前学習済みモデルを用いた転移学習は、低リソース言語におけるエンドツーエンドASRとハイブリッドASRシステムの性能格差を埋めるのに有効か？

主な発見

• 発音記号ターゲットを用いた二段階TLアプローチが、ランダム初期化に比べて最大17.4%の相対的WER低減を達成し、他のすべての手法を上回った。
• 50時間の訓練データのみでも、en-US CE初期化はランダム初期化に比べてWERを42.7%相対的に低減し、優れたデータ効率を示した。
• 転移学習手法では、特に二段階TLにおいて、学習損失の収束がランダム初期化に比べて著しく速く、最初のエポックでの損失がはるかに低かった。
• 二段階TL手法は、en-US CE初期化およびランダム初期化の両方よりも収束が速く、優れたモデル初期化品質を示した。
• 最も優れたTLを用いたRNN-Tモデル（WER 21.89%）の性能は、ハイブリッドASRモデル（WER 22.32%）と同等であり、競争力のある性能を示した。
• 驚くべきことに、en-US CE + hi-IN LM初期化は、en-US CE初期化単体よりも性能が低く、不一致した言語モデル適応による負の干渉の可能性が示唆された。