[論文レビュー] Token-Level Ensemble Distillation for Grapheme-to-Phoneme Conversion

Hao Sun, Xu Tan+5 more|arXiv (Cornell University)|Apr 6, 2019

Topic Modeling参考文献 31被引用数 13

ひとこと要約

本稿では、グラフム音声変換（G2P）のためのトークンレベルのアンサンブル distillation を提案する。無ラベルデータと知識蒸留を活用することで、精度を向上させるとともにモデルサイズを削減する。無ラベルデータ上で訓練された多様なTransformerベースの教師モデルのアンサンブルを用い、そのトークンレベルの予測を軽量な学生モデルに蒸留することで、CMUDict で 19.88% の新しいSOTA WERを達成した。これは先行研究より 4.22% 低い性能であり、オンラインでの効率的実装を可能にする。

ABSTRACT

Grapheme-to-phoneme (G2P) conversion is an important task in automatic speech recognition and text-to-speech systems. Recently, G2P conversion is viewed as a sequence to sequence task and modeled by RNN or CNN based encoder-decoder framework. However, previous works do not consider the practical issues when deploying G2P model in the production system, such as how to leverage additional unlabeled data to boost the accuracy, as well as reduce model size for online deployment. In this work, we propose token-level ensemble distillation for G2P conversion, which can (1) boost the accuracy by distilling the knowledge from additional unlabeled data, and (2) reduce the model size but maintain the high accuracy, both of which are very practical and helpful in the online production system. We use token-level knowledge distillation, which results in better accuracy than the sequence-level counterpart. What is more, we adopt the Transformer instead of RNN or CNN based models to further boost the accuracy of G2P conversion. Experiments on the publicly available CMUDict dataset and an internal English dataset demonstrate the effectiveness of our proposed method. Particularly, our method achieves 19.88% WER on CMUDict dataset, outperforming the previous works by more than 4.22% WER, and setting the new state-of-the-art results.

研究の動機と目的

• 限られたラベル付きデータでのG2Pモデルの実用的導入課題に取り組む：ラベル付きデータが限られる中で精度を向上させるとともに、オンラインシステム向けにモデルサイズを削減する。
• 人手によるアノテーションなしに、大規模な無ラベルグラフムシーケンスを活用してモデルの汎化性能を向上させる。
• 大規模またはアンサンブル型のG2Pモデルのサイズを縮小しつつ、高い精度を維持し、リアルタイム推論を可能にする。
• 序列変換G2Pタスクにおけるトークンレベルの知識蒸留とシーケンスレベルの蒸留の有効性を比較する。
• RNN や CNN と比較して、Transformerアーキテクチャを用いることでG2P変換の性能が向上するかを調査する。

提案手法

• 無ラベルグラフムシーケンス上で教師モデルを訓練し、その出力として擬似ラベル付きの発音シーケンスとその確率分布を生成する。
• トークンレベルの知識蒸留を用い、教師モデルの知識をより小さな学生モデルに転送する。ここで、各トークン位置におけるソフトラベルが学生モデルの学習をガイドする。
• 多様なモデル（CNN、RNN、Transformer）のアンサンブルを教師として構築し、知識の質とモデルのロバスト性を向上させる。
• 知識蒸留をラベル付きデータに加え、無ラベルデータに対する教師モデルの出力（擬似ラベル）に対しても適用することで、訓練信号を効果的に拡張する。
• 蒸留によって訓練された軽量な学生モデル（1-1層エンコーダデコーダ）を用い、パrameter数と推論時間を著しく削減しながら高い精度を達成する。
• ベースモデルとしてTransformerアーキテクチャを採用し、RNN や CNN ベースのモデルよりも優れたシーケンスモデリングが可能な自己注意機構を活用する。

実験結果

リサーチクエスチョン

• RQ1 無ラベルデータ上で訓練された教師モデルからの知識蒸留は、人手によるアノテーションなしにG2P精度を向上させることができるか？
• RQ2 G2P変換タスクにおいて、トークンレベルの蒸留はシーケンスレベルの蒸留を上回る性能を示すか？
• RQ3 CNN、RNN、Transformerの多様なモデルを教師としてアンサンブルにすることで、単一モデルよりも優れた知識転送が達成できるか？
• RQ4 RNN や CNN と比較して、Transformerアーキテクチャを用いることでG2P性能が向上するか？
• RQ5 知識蒸留により、モデルサイズを効果的に縮小しつつ、精度を維持または向上させ、オンライン実装に適した性能を達成できるか？

主な発見

• 提案手法は、CMUDict 0.7b データセットで 19.88% の新しいSOTA WERを達成し、以前の最高結果より 4.22% WER を改善した。
• 知識蒸留を用いて無ラベルデータを統合することで、それらを無視した学習と比較して、WERが約1%低減された。
• トークンレベルの蒸留は 19.88% WER を達成し、シーケンスレベルの蒸留（20.32% WER）を著しく上回った。
• 教師モデルとしてアンサンブルを用いることで、19.88% WER にまで低下したのに対し、単一教師モデルでは 21.05% WER に留まった。これにより、モデル多様性の恩恵が明確に示された。
• 1-1層の蒸留された学生モデルは 20.25% WER を達成し、パrameter数はたったの 185万（6×小さく）、推論速度は6-6ベースラインモデルの4倍速く、高い精度を維持した。
• 社内英語データセットでも、CNN（NSGD）の22.39% から本手法により 18.87% にW ERが低下し、公的ベンチマークを越えた有効性が確認された。