[論文レビュー] Distilling the Knowledge of BERT for Sequence-to-Sequence ASR

Hayato Futami, Hirofumi Inaguma+4 more|arXiv (Cornell University)|Aug 9, 2020

Speech Recognition and Synthesis参考文献 34被引用数 4

ひとこと要約

本稿では、知識蒸留を用いて、BERTから一方向でない文脈的知識を、序列モデルへの音声認識（ASR）モデルに効果的に統合する手法を提案する。訓練時に左および右の文脈、さらには文間の文脈までを活用し、推論コストを増加させることなく、従来の単方向言語モデルやn-best再スコアリング、シャロウフュージョンといった既存のLM統合手法を上回るASR性能を達成し、CSJデータセットで9.19%のWERを達成した。

ABSTRACT

Attention-based sequence-to-sequence (seq2seq) models have achieved promising results in automatic speech recognition (ASR). However, as these models decode in a left-to-right way, they do not have access to context on the right. We leverage both left and right context by applying BERT as an external language model to seq2seq ASR through knowledge distillation. In our proposed method, BERT generates soft labels to guide the training of seq2seq ASR. Furthermore, we leverage context beyond the current utterance as input to BERT. Experimental evaluations show that our method significantly improves the ASR performance from the seq2seq baseline on the Corpus of Spontaneous Japanese (CSJ). Knowledge distillation from BERT outperforms that from a transformer LM that only looks at left context. We also show the effectiveness of leveraging context beyond the current utterance. Our method outperforms other LM application approaches such as n-best rescoring and shallow fusion, while it does not require extra inference cost.

研究の動機と目的

• 序列モデルASRモデルにおける左から右へのデコード制限を解消する。これは、訓練および推論時に将来（右）の文脈にアクセスできないという問題に起因する。
• 深層的で一方向ではない言語モデルであるBERTから、知識蒸留を用いて序列モデルASRモデルに文脈的知識を転送することで、ASR性能を向上させる。
• 現在の発話に加え、前の発話および後の発話を含む文脈を活用することで、BERTによるソフトラベル生成の有効性を調査する。
• 従来のLM統合手法（n-best再スコアリングやシャロウフュージョン）と比較し、性能および推論効率の観点から本手法の有効性を検証する。

提案手法

• 訓練時にBERTを教師モデルとして用い、現在の発話の左および右の文脈を活用して、ASRの学生モデルのためのソフトラベルを生成する。
• BERTへの入力を現在の発話に加え、直前の発話および直後の発話を連結することで、発話間の文脈を含む文脈を拡張する。この連結文は、固定トークン長に収まるように調整される。
• 知識蒸留は、BERTの出力確率とASRモデルの予測との間のソフトラベル交差エントロピー損失を最小化することで実施され、温度スケーリングと蒸留重みハイパーパrameterが用いられる。
• ASRモデルは蒸留損失を用いてエンドツーエンドで訓練されるが、BERTは固定され、推論時には使用されない。
• 推論時には言語モデルを必要としないため、追加のデコードコストが発生しない。
• 温度や蒸留重みといったハイパーパrameterは、開発セット上で最適化される。

実験結果

リサーチクエスチョン

• RQ1 単方向言語モデルと比較して、BERTからの知識蒸留は序列モデルASRの性能向上に寄与するか？
• RQ2 BERTの入力に右側の文脈および発話間の文脈を含めることで、内部発話文脈のみを用いる場合と比較して、ASR性能が向上するか？
• RQ3 n-best再スコアリングやシャロウフュージョンといった従来のLM統合手法と比較して、本手法の精度および推論コストの観点での優位性は何か？
• RQ4 訓練データ量を増加させた場合でも、BERTからの蒸留による性能向上は持続するか？

主な発見

• BERTからの知識蒸留により、CSJ-APS（240h）データセットにおけるWERは9.19%に低下し、ベースラインの序列モデルASRと比較して相対的に10.86%の改善が達成された。
• BERTベースの蒸留は、単方向変換器言語モデル（TrfLM(uni)）からの蒸留（9.89% WER）を上回り、一方向ではない文脈の利点を示した。
• 発話間の文脈（文脈サイズ256）を用いることで、発話内文脈（utterance）を用いた場合（9.53% WER）と比較して、WERは9.19%に低下した。
• n-best再スコアリングおよびシャロウフュージョンの両方の手法と比較して、全ビーム幅において本手法が優れた性能を示した。これは、蒸留によって既に言語モデルの利点の大部分が効果的に抽出されていることを示唆している。
• 520hのデータ（CSJ-APS + CSJ-SPS）で学習した場合でも、7.85%のWERを達成し、改善されたベースラインと比較して相対的に7.5%の改善が得られた。これは、本手法が大規模データでも有効であることを確認した。
• アブレーションスタディの結果、256トークンの長い文脈で事前学習したBERTを用い、蒸留時にも同じ文脈長を適用した場合が最良の性能（9.19% WER）を示した。