[論文レビュー] A Further Study of Unsupervised Pre-training for Transformer Based Speech Recognition

Dongwei Jiang, Wubo Li+6 more|arXiv (Cornell University)|May 20, 2020

Speech Recognition and Synthesis参考文献 42被引用数 9

ひとこと要約

本稿は、Transformerベースの音声認識における自己教師付き事前学習のためのマスキング予測符号化（MPC）を調査し、事前学習データの発話スタイルをターゲットデータに合わせることで下流の性能が向上することを示している。MPCと自己回帰的予測符号化（APC）を組み合わせることで、HKUSTデータセットにおいてストリーミングモデルの誤差を相対的に8.46%削減でき、ターゲットデータ適応とレイヤーごとの判別的微調整を組み合わせることで、AISHELLでは3.99%の相対的誤差削減が達成された。

ABSTRACT

Building a good speech recognition system usually requires large amounts of transcribed data, which is expensive to collect. To tackle this problem, many unsupervised pre-training methods have been proposed. Among these methods, Masked Predictive Coding achieved significant improvements on various speech recognition datasets with BERT-like Masked Reconstruction loss and Transformer backbone. However, many aspects of MPC have not been fully investigated. In this paper, we conduct a further study on MPC and focus on three important aspects: the effect of pre-training data speaking style, its extension on streaming model, and how to better transfer learned knowledge from pre-training stage to downstream tasks. Experiments reveled that pre-training data with matching speaking style is more useful on downstream recognition tasks. A unified training objective with APC and MPC provided 8.46% relative error reduction on streaming model trained on HKUST. Also, the combination of target data adaption and layer-wise discriminative training helped the knowledge transfer of MPC, which achieved 3.99% relative error reduction on AISHELL over a strong baseline.

研究の動機と目的

• 事前学習データの発話スタイルが下流のASR性能に与える影響を調査すること。
• 従来、自己回帰的または因果的アテンションに依存するストリーミング音声認識モデルにMPCを効果的に適用すること。
• 効果的な微調整戦略を通じて、事前学習済みMPCモデルから下流のASRタスクへの知識転送を改善すること。
• APCのような他の事前学習目的とMPCを組み合わせた場合の、ストリーミングおよび非ストリーミング設定における影響を評価すること。
• ターゲットデータ適応やレイヤーごとの判別的学習といった技術を用いて、知識転送を強化することを検討すること。

提案手法

• FBANK特徴量に対して動的マスキングを適用し、15%の4フレームチャンクをマスキングし、L1損失を用いて予測するMPCを用いてTransformerエンコーダーを事前学習する。
• エンコーダー内で時間的ダウンサンプリングを実施し、MPC損失計算に適合するように出力を再形状する。
• MPCとAPC（自己回帰的予測符号化）を統合的な事前学習目的として組み合わせ、それぞれ50%の確率で交互に適用する。
• ベース学習率に λ^||l−θ|| を乗算することでレイヤーごとの判別的学習率スケジューリングを実装し、λ=0.95、θ=5.5として中間エンコーダーレイヤーからの知識を保持する。
• ターゲットドメインデータで微調整することでターゲットデータ適応を実施し、それを判別的学習率スケジューリングと組み合わせる。
• 初期値0.2から開始し、5エポックごとに半減させる減衰係数 γ_mpc を用いたMPC損失重みを導入することで、事前学習と下流タスクの信号のバランスを取るマルチタスク学習を実装する。

Figure 1: Masked Predictive Coding with four-fold downsample

実験結果

リサーチクエスチョン

• RQ1 事前学習データの発話スタイルが下流のASR性能に影響を与えるか。また、ターゲットデータのスタイルに合わせることは有益か？
• RQ2 自己回帰的または因果的アテンションを必要とするストリーミングASRモデルにMPCを効果的に適用できるか？
• RQ3 事前学習済みMPCモデルからの知識転送をどのように改善できるか？
• RQ4 事前学習段階でMPCとAPCを組み合わせることで、ストリーミングモデルにどのような影響を与えるか？
• RQ5 ターゲットデータ適応とレイヤーごとの判別的トレーニングを併用することで、MPC微調整における知識転送が向上するか？

主な発見

• ターゲットドメインに一致する発話スタイルで事前学習したデータを使用すると、下流のASR性能が顕著に向上する。
• MPCとAPCを事前学習段階で組み合わせることで、ストリーミングHKUSTモデルにおいて強力なベースライン比で相対誤差を8.46%削減できた。
• AISHELLデータセットでは、ターゲットデータ適応とレイヤーごとの判別的トレーニングを組み合わせることで、強力なベースライン比で相対誤差を3.99%削減できた。
• レイヤーごとの判別的学習率スケジューリングにより、中間エンコーダーレイヤーからの知識が保持され、微調整の安定性と性能が向上した。
• 減衰係数付きMPC損失重みを用いたマルチタスク学習はわずかな向上をもたらしたが、ターゲットデータ適応とレイヤーごとのスケジューリングの組み合わせが最も一貫性のある改善をもたらした。
• 知識転送の効果は、ターゲットデータ適応とレイヤーごとの学習率スケジューリングの両方が同時に適用された場合にのみ顕著に向上した。