[論文レビュー] Distilling Knowledge from Ensembles of Acoustic Models for Joint CTC-Attention End-to-End Speech Recognition

Yan Gao, Titouan Parcollet+1 more|arXiv (Cornell University)|May 19, 2020

Speech Recognition and Synthesis参考文献 31被引用数 5

ひとこと要約

本稿では、語彙誤り率（ER）に基づく3つの新規なドミネーション戦略を、統合CTC-アテンション型エンドツーエンドASRシステムに適用する。教師モデルの選定を損失のみに依存するのではなく、字幕の品質に基づいて優先順位をつけることで、学生モデルの性能を向上させる。これらの手法により、TIMITでは13.11%、Common Voiceイタリア語版では15.57%、Common Voiceフランス語版では17.04%という最先端のWERを達成し、個々の教師モデルや標準的なドミネーションベースラインを上回った。

ABSTRACT

Knowledge distillation has been widely used to compress existing deep learning models while preserving the performance on a wide range of applications. In the specific context of Automatic Speech Recognition (ASR), distillation from ensembles of acoustic models has recently shown promising results in increasing recognition performance. In this paper, we propose an extension of multi-teacher distillation methods to joint CTC-attention end-to-end ASR systems. We also introduce three novel distillation strategies. The core intuition behind them is to integrate the error rate metric to the teacher selection rather than solely focusing on the observed losses. In this way, we directly distill and optimize the student toward the relevant metric for speech recognition. We evaluate these strategies under a selection of training procedures on different datasets (TIMIT, Librispeech, Common Voice) and various languages (English, French, Italian). In particular, state-of-the-art error rates are reported on the Common Voice French, Italian and TIMIT datasets.

研究の動機と目的

• 知識ドミネーションを用いて事前に訓練された音声モデルのアンサンブルを活用することで、エンドツーエンドASRの性能を向上させること。
• 標準的なドミネーションが損失のみに依存して教師を選定するという限界を是正すること。これは、性能が低い教師を好む要因となることがある。
• 損失の最小化ではなく、字幕品質（WERで測定）に直接的に学生モデルを最適化すること。
• 逐次的な誤り率に基づいて教師を動的に重み付けまたは選択する、新たなドミネーション戦略の検討と検証。
• 事前に訓練済みモデルをERベースドドミネーションで再利用することで、計算リソースの無駄を減らし、性能を向上させることの有効性を示すこと。

提案手法

• 複数の教師モデルから得られるソフトターゲットを用いる、統合CTC-アテンション型ASRシステム向けのマルチ教師ドミネーションフレームワークを提案。
• 「Weighted」戦略を導入。これは、ミニバッチ内で教師の平均WERに基づいて、動的に訓練重みを割り当てる。
• 「Top-1」戦略を導入。これは、文単位のWERに基づいて、各ミニバッチで最も性能の良い1つの教師を選択する。
• 「Top-k」戦略を導入。これは、類似したWERを持つ複数の上位教師から学習を可能にし、ラベルの多様性を高める。
• 学生モデルの損失を、その予測と選択された教師からのソフトターゲットとの間の交差エントロピーを最小化するように設定。
• 学生モデルは、CTCとアテンションベースの交差エントロピー損失の両方を最小化する統合CTC-アテンション学習目的関数に従って訓練される。

Fig. 1 : Illustration of the error rate multi-teacher distillation strategies connected to a Joint CTC-Attention E2E ASR system.

実験結果

リサーチクエスチョン

• RQ1 音声モデルのアンサンブルからの知識ドミネーションが、個々の教師モデルの性能を超えて、統合CTC-アテンション型エンドツーエンドASRシステムのWERを改善できるか？
• RQ2 損失ではなく誤り率（WER）に基づいて教師を選定することで、学生モデルの一般化性能が向上し、WERが低くなるか？
• RQ3 「Weighted」、「Top-1」、「Top-k」の各教師選択戦略が、多様なデータセットにおいて最終的なWERと学習の安定性にどのように影響するか？
• RQ4 ERベースドドミネーションは、再訓練を伴わず既存の訓練済みモデルを効果的に活用でき、計算リソースの無駄を減らしながら性能を向上させられるか？
• RQ5 特に字幕誤りの観点から見た教師出力の多様性が、学生モデルの耐性と正確性にどのように影響するか？

主な発見

• 提案されたERベースドドミネーション戦略は、標準的なドミネーションベースラインを著しく上回り、4つのデータセット平均で、最良の個別教師モデルと比較して0.74%のWER低減を達成した。
• Common Voiceフランス語版では、17.04%という最先端のWERを達成し、過去の結果を上回った。
• Common Voiceイタリア語版では、15.57%という最先端のWERを達成し、言語間の一般化性能が優れていることを示した。
• TIMITでは、13.11%という最先端のWERを達成し、標準ベンチマークでも有効性が確認された。
• 「Top-k」と「Weighted」戦略は、Librispeechにおいてほぼ同一の性能（1.04%のWER差）を示し、ERがドミネーション品質の代替指標として有効であることを裏付けた。
• 「Average」ベースライン（全教師に等しい重みを割り当てる）は、常に性能が低く、劣悪な教師が含まれる場合には単純なアンサンブル平均が効果的でないことを証明した。

Fig. 2 : Output tokens ( i.e. BPE) obtained on a French recording with the best (top) and worst (bottom) teachers. The given sentence contains $5$ occurences of $3$ different homophones (i.e. “vers” , “verre” , “vert” ). While the worst teacher is grammatically wrong for $3$ out of $5$ , produced to