[論文レビュー] Cross-Language Transfer Learning, Continuous Learning, and Domain Adaptation for End-to-End Automatic Speech Recognition

Jocelyn Huang, Oleksii Kuchaiev+6 more|arXiv (Cornell University)|May 8, 2020

Speech Recognition and Synthesis参考文献 21被引用数 20

ひとこと要約

この論文は、大規模で事前学習された英語用のQuartzNet ASRモデルを微調整することで、多様なASRタスク、特に異言語間移行（ドイツ語、スペイン語、ロシア語）、ドメイン適応（財務決算会議録）および発音の違いに対しても性能が著しく向上することを示している。この手法は、小規模なターゲットデータセットでさえも、学習から再び開始する場合よりも一貫して優れた性能を発揮し、大規模データ設定では収束速度が最大18倍速くなる。事前学習モデルは一般化性能を高める強力な正則化要因として機能する。

ABSTRACT

In this paper, we demonstrate the efficacy of transfer learning and continuous learning for various automatic speech recognition (ASR) tasks. We start with a pre-trained English ASR model and show that transfer learning can be effectively and easily performed on: (1) different English accents, (2) different languages (German, Spanish and Russian) and (3) application-specific domains. Our experiments demonstrate that in all three cases, transfer learning from a good base model has higher accuracy than a model trained from scratch. It is preferred to fine-tune large models than small pre-trained models, even if the dataset for fine-tuning is small. Moreover, transfer learning significantly speeds up convergence for both very small and very large target datasets.

研究の動機と目的

• 事前学習された英語ASRモデルからの転移学習が、リソースが限られた言語、発音、およびドメイン固有の音声認識に与える影響を調査すること。
• 小規模または大規模なターゲットデータセット上で、大規模な事前学習モデルの微調整と学習から再び開始する方法の有効性を評価すること。
• 継続的学習における深刻な忘却（catastrophic forgetting）の発生状況と、微調整時に事前学習データを保持する必要性を検討すること。
• モデルサイズと学習率スケジューリングが転移学習性能に与える影響を評価すること。

提案手法

• 事前学習済みのQuartzNetエンコーダー（15x5）を、事前学習時とは10倍小さい初期の学習率を用いて、ターゲットデータセット上で微調整する。
• アルファベットが異なる言語（非英語）の場合は、新しい浅いデコーダーを初期化する。それ以外の場合は、事前学習済みのデコーダーをロードする。
• すべての実験でNeMoツールキットを用い、タスク間で一貫したハイパーパrameterを維持する。
• 深刻な忘却を防ぐために、微調整時に元の事前学習データの一部を含める。
• 異言語間、発音差、ドメイン適応の各タスクに同じ転移学習レシピを適用する。
• 大規模な財務データ（50,000時間以上）を用いて訓練し、事前学習済みモデルと学習から再び開始したモデルの収束速度と最終的な正答率を比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの英語ASRモデルを微調整することで、リソースが限られた言語で学習から再び開始する場合よりも優れた性能が得られるか？
• RQ2 小規模なターゲットデータセット上で微調整する際、モデルサイズが転移学習性能に与える影響は何か？
• RQ3 大規模データのASR学習において、転移学習が収束速度を顕著に加速できるか？
• RQ4 事前学習データを保持しない状態で微調整した場合、深刻な忘却がどの程度発生するか？
• RQ5 同じ転移学習レシピが、異言語間、発音差、ドメイン固有のASR適応の各分野に一般化可能か？

主な発見

• 事前学習済みの15x5 QuartzNetモデルを微調整した結果、ドイツ語Common Voiceでは23.35%のWERを達成し、学習から再び開始したモデル（30.42%）と小さな5x3モデル（28.61%）を上回った。
• ロシア語では、微調整により、学習から再び開始した場合のWER（59.50%）が5Dモデルを用いることで32.20%に低下し、小規模データでも強力な正則化効果が確認された。
• 財務ドメインでは、事前学習済みモデルが、学習から再び開始したモデルと比べて、最終精度の90%に達するまでの速度が最大18倍速くなった。
• 最も優れた性能は、常に大規模な事前学習済みモデルを微調整することで得られ、ターゲットデータセットが事前学習データよりも10倍以上大きくても同様であった。
• 事前学習データを微調整時に除外した場合、深刻な忘却が発生した。これは、継続的学習においてデータを保持する必要があることを裏付けた。
• この手法は、テストされたすべてのシナリオ（異言語間、発音差、ドメイン適応）で効果的に機能し、学習から再び開始する場合に比べて一貫した改善が得られた。