[論文レビュー] Masked Pre-trained Encoder base on Joint CTC-Transformer

Lu Liu, Yiheng Huang|arXiv (Cornell University)|May 25, 2020

Speech Recognition and Synthesis参考文献 21被引用数 7

ひとこと要約

本論文は、マスクされた事前学習エンコーダー（MPE）とジョイント CTC-Transformer（JCT）モデルを組み合わせた2段階の半教師付きASRフレームワークを提案する。MPEは、双方向Transformerを用いてダウンサンプルされた音響フレームをマスクして再構築することで、大規模なラベルなし音声データ上で事前学習される。一方、JCTは限定的なラベル付きデータを用いて、CTCとアテンション損失を用いてエンコーダーを微調整する。この手法により、完全教師あり学習と比較してラベル付きデータを30%に制限した場合でもWSJで22%のWER削減を達成した。

ABSTRACT

This study (The work was accomplished during the internship in Tencent AI lab) addresses semi-supervised acoustic modeling, i.e. attaining high-level representations from unsupervised audio data and fine-tuning the parameters of pre-trained model with supervised data. The proposed approach adopts a two-stage training framework, consisting of masked pre-trained encoder (MPE) and Joint CTC-Transformer (JCT). In the MPE framework, part of input frames are masked and reconstructed after the encoder with massive unsupervised data. In JCT framework, compared with original Transformer, acoustic features are applied as input instead of plain text. CTC loss performs as the prediction target on top of the encoder, and decoder blocks remain unchanged. This paper presents a comparison between two-stage training method and the fully supervised JCT. In addition, this paper investigates the our approach's robustness against different volumns of training data. Experiments on the two-stage training method deliver much better performance than fully supervised model. The word error rate (WER) with two-stage training which only exploits 30\% of WSJ labeled data achieves 17\% reduction than which trained by 50\% of WSJ in a fully supervised way. Moreover, increasing unlabeled data for MPE from WSJ (81h) to Librispeech (960h) attains about 22\% WER reduction.

研究の動機と目的

• 大規模なラベルなし音声データを活用することで、低リソース自動音声認識（ASR）の性能を向上させること。
• BERTにインspiredされたが、フレーム単位でのマスキングと再構築を経て音声に適応した音響特徴のためのマスク事前学習戦略を開発すること。
• 異なる量のラベル付きデータを用いた状況下で、2段階トレーニングパイプラインの頑健性と有効性を評価すること。
• wav2vec や DeCoAR などの既存の自己教師付き音声表現学習手法と比較すること。

提案手法

• マスク事前学習エンコーダー（MPE）は、81時間または960時間のラベルなし音声データ上で学習され、ダウンサンプルされたFBANKフレームの15%をマスクし、双方向Transformerエンコーダーを用いて再構築する。
• MPEは、元のフレームと再構築されたフレームの差異を最小化するためにL1損失を用い、Adamによる最適化が行われる。
• ジョイント CTC-Transformer（JCT）モデルは、小規模なラベル付きデータセット（例：WSJ 1/3 または 1/2）上で微調整され、共有エンコーダーの上にCTC損失を補助予測ヘッドとして用いる。
• 2つの微調整戦略が評価された：エンドツーエンド微調整とエンコーダーを固定した微調整で、後者が優れた性能を示した。
• 事前学習済みMPE特徴は、限られた監視下での性能向上を目的とした高レベル表現として用いられる。
• フレームワークはWSJおよびLibriSpeechデータセットで評価され、さまざまなデータ制約と事前学習データスケールにおけるWERを比較した。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなし音声データ上でマスク事前学習を適用することで、ラベル付きデータが限られた状況でもASR性能が向上するか？
• RQ2 同じ量のラベル付きデータを用いた場合、2段階のMPE-JCTフレームワークの性能は完全教師あり学習と比べてどうか？
• RQ3 ラベルなし事前学習データ量（81時間から960時間）を増加させた場合、下流のASR精度にどのような影響を与えるか？
• RQ4 本手法のMPEは、wav2vec や DeCoAR などの既存の自己教師付き音声表現学習手法と比較してどうか？

主な発見

• 2段階のMPE-JCTフレームワークは、同じラベル付きデータを用いた完全教師あり学習と比較して、WSJ dev93で22%、eval92で30%の相対的WER削減を達成した。
• 960時間のLibriSpeechデータで事前学習されたMPEを用いることで、ラベル付きデータをたった30%に制限した状態で、WSJ（81時間）で22%のWER削減を達成した。
• LibriSpeechでは、2段階手法がdev-cleanで34%、test-cleanで25%のWER削減を、完全教師ありベースラインと比較して達成した。
• エンコーダーを固定した微調整戦略はエンドツーエンド微調整を上回り、WSJ dev93では10.43のWERを達成したのに対し、直接微調整では14.77のWERであった。
• WSJ dev93において、MPE手法はwav2vecと比較して15%、DeCoARと比較して7%の相対的WER削減を達成した。
• MPEの自己注意マトリクスはトレーニングエポックを経るごとに改善されたアライメントを示し、文脈的表現の有効な学習が行われていることが示された。