[論文レビュー] Distilling the Knowledge of BERT for CTC-based ASR

Hayato Futami, Hirofumi Inaguma+3 more|arXiv (Cornell University)|Sep 5, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本稿では、推論速度を保ちながら、BERTのトークンレベルの予測をCTCのフレームレベル出力と強制アラインメントにより一致させることで、BERTからCTCベースの自動音声認識（ASR）モデルへの知識蒸留を提案する。この手法は、CSJおよびTED-LIUM2で推論コストを追加せずにASR精度を向上させ、グリーディデコードを用いて最先端の結果を達成する。

ABSTRACT

Connectionist temporal classification (CTC) -based models are attractive because of their fast inference in automatic speech recognition (ASR). Language model (LM) integration approaches such as shallow fusion and rescoring can improve the recognition accuracy of CTC-based ASR by taking advantage of the knowledge in text corpora. However, they significantly slow down the inference of CTC. In this study, we propose to distill the knowledge of BERT for CTC-based ASR, extending our previous study for attention-based ASR. CTC-based ASR learns the knowledge of BERT during training and does not use BERT during testing, which maintains the fast inference of CTC. Different from attention-based models, CTC-based models make frame-level predictions, so they need to be aligned with token-level predictions of BERT for distillation. We propose to obtain alignments by calculating the most plausible CTC paths. Experimental evaluations on the Corpus of Spontaneous Japanese (CSJ) and TED-LIUM2 show that our method improves the performance of CTC-based ASR without the cost of inference speed.

研究の動機と目的

• CTCベースのASRモデルにBERTの文脈的言語知識を統合するが、非自己回帰的で高速な推論を維持する。
• 知識蒸留の過程で、BERTのトークンレベル予測とCTCのフレームレベル予測を効果的にアラインメントする課題に対処する。
• 推論時にBERTやビームサーチに依存しないことで、推論速度を維持する。
• 標準的なトレーニング時の蒸留のみを用いて、標準ベンチマークでASR性能を向上させる。
• BERTの双方向的文脈が、一方向言語モデルよりもCTCベースのASRを向上させることを示す。

提案手法

• BERTを教師モデルとして用い、正解トランスクリプト内の各単語に対してトークンレベルのソフトラベルを生成する。
• 前向き・後ろ向きアルゴリズムまたはビタビ法を用いて、最も妥当なCTCパスを計算し、BERTのトークンレベル予測とCTCのフレームレベル出力の間のアラインメントを実現する。
• BERTのトークンレベル確率と、対応する時間フレームにおけるCTCモデルのフレームレベル予測との間の交差エントロピー損失を最小化することで、知識蒸留を適用する。
• CTC損失と蒸留損失の両方を用いて、エンドツーエンドでCTCモデルを訓練し、BERTからの文脈表現を学習可能にする。
• 推論時にビームサーチや外部言語モデルの推論を避けるために、グリーディデコードを用いることで、速度を維持する。
• BERTの双方向アテンションを活用し、左・右の文脈を捉えることで、語の依存関係のモデリングを向上させる。

実験結果

リサーチクエスチョン

• RQ1 BERTからの知識蒸留が、CTCベースのASRモデルの性能を向上させつつ、その高速な推論を損なわないか？
• RQ2 BERTのトークンレベル予測を、CTCベースのモデルのフレームレベル予測と効果的にアラインメントする方法は何か？
• RQ3 BERTのような双方向言語モデルを用いた蒸留が、一方向LMよりもCTCモデルのASR性能を向上させるか？
• RQ4 BERTからの蒸留が、標準ベンチマークにおけるCTCベースのASRのWERとパープレキシティ（PPL）の両方を向上させるか？
• RQ5 従来のLM統合技術（リスコアリングやシャローフュージョンなど）と組み合わせた場合でも、本手法は高速な推論を維持できるか？

主な発見

• CSJコーパスでは、提案手法により、ベースラインCTCのWER 9.34%が、BERT蒸留を用いて9.05%に低下し、推論時間に変化はなかった。
• TED-LIUM2では、WERが12.13%から11.40%に低下し、多様なデータセットで一貫した改善が確認された。
• TED-LIUM2では、BERTのパープレキシティ（PPL）が5.53から4.92に向上し、言語モデリングの整合性が向上した。
• グリーディデコードを用いても、本手法はn-bestリスコアリングやシャローフュージョンを上回るWERを達成し、ベースラインCTCと同等の推論速度を維持した。
• 本手法の蒸留をリスコアリングやシャローフュージョンと組み合わせることで、さらにWERが低下し、TED-LIUM2でn=50の条件下で8.20%にまで低下し、オラクル性能に近づいた。
• 可視化の結果、蒸留後、フレームレベルの予測がより意味的に妥当なもの（例：'ed'、'selves'、'kids'）に改善していることが示され、文脈モデリングの向上が確認された。