[論文レビュー] Speech-XLNet: Unsupervised Acoustic Model Pretraining For Self-Attention Networks

Xingchen Song, Guangsen Wang+5 more|arXiv (Cornell University)|Oct 23, 2019

Speech Recognition and Synthesis参考文献 27被引用数 11

ひとこと要約

本稿では、自動音声認識（ASR）における自己注意ネットワークのための、順列に基づく教師なし事前学習手法であるSpeech-XLNetを提案する。事前学習中に音声フレームの順序を動的にシャッフルすることで、双方向的文脈学習と一般化性能の向上を実現し、TIMITでは発音誤り率（PER）が15.2%相対的に改善され、WSJでは最小限のラベル付きデータで最大68%のWER低減を達成した。

ABSTRACT

Self-attention network (SAN) can benefit significantly from the bi-directional representation learning through unsupervised pretraining paradigms such as BERT and XLNet. In this paper, we present an XLNet-like pretraining scheme "Speech-XLNet" for unsupervised acoustic model pretraining to learn speech representations with SAN. The pretrained SAN is finetuned under the hybrid SAN/HMM framework. We conjecture that by shuffling the speech frame orders, the permutation in Speech-XLNet serves as a strong regularizer to encourage the SAN to make inferences by focusing on global structures through its attention weights. In addition, Speech-XLNet also allows the model to explore the bi-directional contexts for effective speech representation learning. Experiments on TIMIT and WSJ demonstrate that Speech-XLNet greatly improves the SAN/HMM performance in terms of both convergence speed and recognition accuracy compared to the one trained from randomly initialized weights. Our best systems achieve a relative improvement of 11.9% and 8.3% on the TIMIT and WSJ tasks respectively. In particular, the best system achieves a phone error rate (PER) of 13.3% on the TIMIT test set, which to our best knowledge, is the lowest PER obtained from a single system.

研究の動機と目的

• 自己回帰的および自己符号化型事前学習の限界、特に双方向的文脈の欠如と事前学習・微調整の乖離を解消すること。
• 順列に基づく学習を活用することで、自己注意ネットワーク（SANs）の一般化性能と収束速度を向上させること。
• エンドツーエンドおよびハイブリッドASRシステムにおいて、限られたラベル付きデータを効果的に活用できる、強固な教師なし事前学習を可能とすること。

提案手法

• Speech-XLNetは動的順列戦略を用い、各訓練シーケンスごとに新しいランダムなフレーム順列を生成することで、固定順序のバイアスを回避する。
• 音声特徴シーケンスのすべての可能な要因分解順序の期待対数尤度を最大化することで、左および右の文脈を統合的にモデル化する。
• XLNetの自己回帰的訓練パラダイムを音声に適応させ、語トークンの代わりに音声フレームをマスク・再構築することで回帰タスクに変換する。
• エンコーダー構造は、TransformerおよびXLNetの設計に従い、すべての順列でパラメータを共有することで、エンドツーエンド最適化を可能にする。
• 事前学習中に、すべての位置からの文脈を用いてマスクされたフレームを再構築するように学習させることで、グローバル構造の認識を促進する。
• 静的マスクトークンに依存しないため、BERTと同様の事前学習・微調整の乖離を回避する。代わりに、多様な文脈を模倣するための動的順列を用いる。

実験結果

リサーチクエスチョン

• RQ1 順列に基づく事前学習は、音声認識における自己注意ネットワークの一般化性能と収束速度を向上させることができるか？
• RQ2 動的フレーム順列は、固定順序自己回帰的または双方向自己符号化型手法と比較して、グローバルかつ双方向的文脈をどれほど効果的に捉えられるか？
• RQ3 BERT風のマスキングと比較して、Speech-XLNetは音声表現学習においてどれほど事前学習・微調整の乖離を低減できるか？
• RQ4 特に低リソースASRシナリオにおいて、ラベル付きデータが限られる状況でも、本手法はより一般化性能が優れているか？
• RQ5 Speech-XLNetで事前学習したモデルの損失関数の形状は、スクラッチから訓練したモデルと比較して、平坦さと最適性の点でどのように異なるか？

主な発見

• Speech-XLNetはTIMITテストセットにおいて、発音誤り率（PER）を15.1%から12.8%に低下させ、15.2%の相対的改善を達成した。
• WSJデータセットでは、わずか7時間のラベル付きデータで微調整した場合、語誤り率（WER）を最大68.3%まで低減した。スクラッチ学習モデルを上回った。
• 81時間のラベル付きデータを用いた場合、最良のシステムはベースラインと比較して6.1%の相対的WER低減を達成し、優れた低データ効率性を示した。
• 損失関数の形状可視化から、Speech-XLNetで事前学習されたモデルは、より平坦で広い最適解を示しており、一般化能力の向上を示している。
• 順列に基づく手法は、非順列（自己回帰的）およびBERT風のベースラインを上回った。これは、少ない事前学習データでも有効性を示している。
• LIBRI-Perm（960時間のLibrispeechデータを用いて）は、より多くのデータ（879時間）を用いたWSJ-NoPermよりも優れた性能を示し、動的順列の優位性を確認した。