[論文レビュー] Effects of Layer Freezing on Transferring a Speech Recognition System to Under-resourced Languages

Onno Eberhard, Torsten Zesch|arXiv (Cornell University)|Feb 8, 2021

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、低リソース言語向けの自動音声認識（ASR）における転移学習におけるレイヤー固定の影響を調査する。MozillaのDeepSpeechアーキテクチャを用い、事前学習済みの英語モデルをドイツ語およびスイスドイツ語へと転移させる。最初の1〜3レイヤーを固定すると、すべてのレイヤーを微調整する場合と比較して、語誤り率（WER）が顕著に改善され、3レイヤーを超えると改善が著しく鈍くなる。これは、関連する言語間で汎用的な特徴が学習されていることを示している。

ABSTRACT

In this paper, we investigate the effect of layer freezing on the effectiveness of model transfer in the area of automatic speech recognition. We experiment with Mozilla's DeepSpeech architecture on German and Swiss German speech datasets and compare the results of either training from scratch vs. transferring a pre-trained model. We compare different layer freezing schemes and find that even freezing only one layer already significantly improves results.

研究の動機と目的

• 低リソース言語向けASRにおけるレイヤー固定の影響が、転移学習の有効性に与える影響を評価すること。
• 英語で事前学習されたDeepSpeechモデルをドイツ語およびスイスドイツ語に適応する際の最適なレイヤー固定戦略を特定すること。
• 深層ネットワークにおける階層的特徴学習が、微調整時に初期レイヤーを固定することを支持するかを評価すること。
• 限られたリソースを持つデータセットにおける、WERおよびCERの観点から、さまざまな固定戦略の性能を比較すること。

提案手法

• ドイツ語およびスイスドイツ語のデータセットに対して、事前学習済みの英語用DeepSpeechモデルを転移学習を用いて微調整する。
• 0、1、2、3、4、5、または1〜5レイヤー（最終出力レイヤーを除く）を固定するさまざまなレイヤー固定戦略を適用する。
• 6レイヤー構成のDeepSpeechアーキテクチャを用いる：3つの全結合（FC）レイヤー、1つのLSTM、およびReLUとソフトマックス活性化関数を備えた2つの最終FCレイヤー。
• シーケンス対シーケンスのアライメントを目的とした、Adam最適化法とConnectionist Temporal Classification（CTC）損失関数を用いてモデルを最適化する。
• ホールドアウトされたテストセットを用いて、WERおよびCERで結果を評価する。言語モデルには、混合テキストコーパスを用いて学習されたKenLMを使用する。
• 収束性および一般化性能を評価するため、学習曲線およびエポックごとのメトリクスを用いて訓練および検証を行う。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み英語モデルをドイツ語およびスイスドイツ語に転移させる際、異なる数のレイヤーを固定するとASR性能にどのように影響するか？
• RQ2 低レベル特徴を学習する初期レイヤーを固定すると、後段のレイヤーを固定する場合やすべてのレイヤーを微調整する場合と比較して、より良い結果が得られるか？
• RQ3 低リソース音声認識タスクにおいて、WERおよびCERを最小化する最適なレイヤー固定数は何か？
• RQ4 さまざまな固定設定における学習曲線および検証損失は、どのように比較されるか？
• RQ5 より多くのレイヤーを固定することで、性能の向上が鈍化するか、逆に性能が低下するのか？

主な発見

• 最初の1〜3レイヤーを固定すると最も良い性能が得られ、ドイツ語ではWERがベースラインの70％から44％へ、スイスドイツ語では74％から67％へ低下する。
• レイヤー1〜2を固定したモデルが、ドイツ語で最低のWER（44％）およびCER（0.22）を達成し、他のすべての固定戦略を上回る性能を示した。
• 3レイヤーを超えて固定を進める（例：1〜5）と、わずかな改善や改善が得られず、一部のケースではわずかな性能低下が観察された。これは、限界効果が顕著であることを示している。
• 4または5レイヤーを固定したモデルでも高い性能が得られ、英語の事前学習モデルから得られる特徴が関連言語間で汎用的であることを示唆している。
• 学習曲線から、初期レイヤーを固定することで収束が速く、検証損失も低くなることが分かった。1〜3レイヤーと1〜5レイヤーの間には、差がほとんど見られない。
• LSTMレイヤー（レイヤー4）や最終FCレイヤー（レイヤー5）を固定しても、性能に顕著な影響がない。これは、これらのレイヤーが予想以上に言語特異的ではない可能性を示している。