[論文レビュー] Unsupervised Pre-training of Bidirectional Speech Encoders via Masked Reconstruction

Weiran Wang, Qingming Tang+1 more|arXiv (Cornell University)|Jan 28, 2020

Speech Recognition and Synthesis被引用数 22

ひとこと要約

本論文は、連続スペクトログ램入力を用いた双方向音声エンコーダーのマスク再構成事前学習手法を提案する。時間的・周波数的セグメントをランダムにマスクし、モデルがそれらを再構成する。この手法は、LibriSpeechおよびWall Street Journalデータセットにおいて、音声認識精度を一貫して向上させ、特に大規模なラベルなしデータでの事前学習と微調整時のドメイン適応を組み合わせた場合に顕著な効果を示す。

ABSTRACT

We propose an approach for pre-training speech representations via a masked reconstruction loss. Our pre-trained encoder networks are bidirectional and can therefore be used directly in typical bidirectional speech recognition models. The pre-trained networks can then be fine-tuned on a smaller amount of supervised data for speech recognition. Experiments with this approach on the LibriSpeech and Wall Street Journal corpora show promising results. We find that the main factors that lead to speech recognition improvements are: masking segments of sufficient width in both time and frequency, pre-training on a much larger amount of unlabeled data than the labeled data, and domain adaptation when the unlabeled and labeled data come from different domains. The gain from pre-training is additive to that of supervised data augmentation.

研究の動機と目的

• 双方向音声エンコーダーの自己教師付き事前学習を通じて音声認識性能を向上させること。
• BERT風のマスク再構成を、連続的かつ高分解能な性質を示す音声信号に適応させること。
• マスキング戦略、事前学習データの規模、ドメイン不一致が認識性能に与える影響を調査すること。
• データ拡張を伴う・伴わない音声認識システム（音素ベースおよび文字ベース）に対して、本手法の有効性を評価すること。
• 事前学習データと微調整データのドメインが異なる場合に、線形入力ネットワーク（LIN）によるドメイン適応が効果を発揮することを示すこと。

提案手法

• 大規模なラベルなし音声データ上で、双方向RNNをマスク再構成損失を用いて事前学習する。
• 時間的および周波数的領域でランダムマスキングを適用：時間方向に連続するセグメントと、時間ステップごとにランダムに選ばれた周波数チャンネル。
• スペクトログラム特徴量を入力とすることで、時間周波数同時マスキングが可能となり、音声の連続性をよりよくモデル化できる。
• 標準的なASR学習手順を用いて、小さなラベル付きデータセット上で事前学習モデルを微調整する。
• 初期の微調整エポック中に更新可能な可学習線形入力ネットワーク（LIN）を用いてドメイン適応を実施する。
• 開発セットのチューニングにより、マスク幅やマスク数などのハイパーパrameterを最適化する。

Fig. 1 : Illustration of our masked reconstruction approach.

実験結果

リサーチクエスチョン

• RQ1 BERT風のマスク再構成は、連続的音声信号に効果的に適応可能か？
• RQ2 マスキング戦略（幅および時間・周波数セグメント数）が下流のASR性能に与える影響は？
• RQ3 大規模なラベルなしデータでの事前学習と限定的なラベル付きデータでの学習の違いは？
• RQ4 事前学習データと微調整データのドメイン不一致が性能に与える影響は？また、これを緩和できるか？
• RQ5 自己教師付きデータ拡張（例：SpecAugment）による利点と事前学習の利点は加法的か？

主な発見

• 960時間のラベルなしLibriSpeechデータでの事前学習は、si284およびWSJのテストセットにおいて、ASR性能を顕著に向上させる。
• si284セットでは、事前学習により音素ベースのWERがベースラインの18.52%からSpecAugmentを適用した15.56%に低下し、さらに事前学習とSpecAugmentの併用では14.92%まで低下した。
• 文字ベースシステムでは、事前学習によりCERがベースラインの15.23%からSpecAugmentとLIN適応を組み合わせた11.70%に低下した。
• 事前学習とSpecAugmentの併用により、テストセットのWERが6.33%まで低下し、両者の利点が加法的であることが示された。
• 事前学習データと微調整データのドメインが異なる場合、LINによるドメイン適応は一貫して性能向上をもたらし、特にWSJデータセットで顕著であった。
• 学習曲線から、事前学習モデルは収束が早く、一般化性能が高く、CERおよびCTC損失が低く抑えられており、過学習が抑制されていることが示された。

Fig. 2 : Dev set learning curves (%CER and CTC loss) of different systems pre-trained on LibriSpeech . The first 5 epochs of fine-tuning update only the LIN and softmax layers.