[論文レビュー] Cantonese Automatic Speech Recognition Using Transfer Learning from Mandarin

Bryan Li, Xinyue Wang+1 more|arXiv (Cornell University)|Nov 21, 2019

Speech Recognition and Synthesis参考文献 9被引用数 5

ひとこと要約

本稿では、事前学習済みの中国語音声認識モデルの重みを用いて初期化することで、低リソースな広東語音声認識器を構築するトランスファーラーニング手法を提案する。限定的な広東語データセット上で転移学習されたモデルを微調整することで、収束が速まり、文字誤り率（CER）がわずかに改善され、BABEL広東語データセットにおいて34.6%という新たな最先端の成績を達成した。

ABSTRACT

We propose a system to develop a basic automatic speech recognizer(ASR) for Cantonese, a low-resource language, through transfer learning of Mandarin, a high-resource language. We take a time-delayed neural network trained on Mandarin, and perform weight transfer of several layers to a newly initialized model for Cantonese. We experiment with the number of layers transferred, their learning rates, and pretraining i-vectors. Key findings are that this approach allows for quicker training time with less data. We find that for every epoch, log-probability is smaller for transfer learning models compared to a Cantonese-only model. The transfer learning models show slight improvement in CER.

研究の動機と目的

• 広東語のような低リソース言語向けに効果的な自動音声認識（ASR）システムを開発する課題に対処すること。
• 中国語ASRリソースの豊富さを活用し、データが限られるにもかかわらず広東語ASRの性能を向上させること。
• 時定数遅延ニューラルネットワーク（TDNN）を用いた中国語から広東語へのトランスファーラーニングの有効性を検証すること。
• 転移層の数、学習率、事前学習済みiベクトルなどのハイパーパrameterを最適化し、モデル性能を向上させること。
• 情報に基づいたモデル初期化と微調整により、BABEL広東語データセットでCERの新たな最先端水準を達成すること。

提案手法

• AISHELL2データセットのクリアな中国語音声1000時間でTDNNモデルを学習する。
• 事前学習済み中国語モデルの最初のk層の重みを、新たに初期化された広東語用TDNNに転送する。
• IARPA Babel 広東語データセットの会話型広東語音声215時間で、転送されたモデルを微調整する。
• k（転送層数）と学習率（lr = 0, 0.25, 1.0）の異なる値を実験し、性能を最適化する。
• 転送学習モデルと、広東語データから再び学習を開始したベースラインモデルとの間で、学習ダイナミクスと損失曲線を比較する。
• 文字誤り率（CER）と単語誤り率（WER）を用いてモデル性能を評価し、CERを主な指標とする。

実験結果

リサーチクエスチョン

• RQ1 中国語のような高リソース言語からのトランスファーラーニングは、広東語のような低リソース言語向けASR性能を向上させることができるか？
• RQ2 転送層数（k）は最終的なCERと学習ダイナミクスにどのように影響するか？
• RQ3 広東語データに対して転送モデルを微調整する際の最適な学習率は何か？
• RQ4 中国語で事前学習したiベクトルを広東語に転送することで認識性能が向上するか？
• RQ5 トランスファーラーニングは、モデルの正確性を維持または向上させながら、学習時間を短縮できるか？

主な発見

• 事前学習済み中国語TDNNからの重み初期化により、特に初期層を固定した場合、1イテレーションあたりの学習時間が顕著に短縮される。
• 転送学習モデルのログ確率（交差エントロピー損失）は、すべての段階で、再び学習を開始したベースラインモデルよりも一貫して低く、収束が速いことを示している。
• k=4の転送層と学習率1.0で最良の性能を示したモデルは、CERが34.6%に達し、ベースラインよりわずかに向上した。
• 転送層に対して学習率0（lr=0）のモデルは性能が悪く、言語の違いがあるにもかかわらず、ある程度の微調整が必要であることが示された。
• 中国語で事前学習したiベクトルを広東語に転送しても性能向上が得られず、実験結果から推奨されない。
• 結果から、TDNNの初期層はより汎用的で言語に依存しない特徴を学習しており、転送に適していることが確認された。一方、後続の層は言語固有の適応により利益を受ける。