[論文レビュー] Sequence-Level Knowledge Distillation

Yoon Kim, Alexander M. Rush|arXiv (Cornell University)|Jun 25, 2016

Natural Language Processing Techniques参考文献 47被引用数 117

ひとこと要約

本論文は知識蒸留を神経機械翻訳（NMT）に適用し、語レベル蒸留を上回るシーケンスレベルの変種を導入、貪欲デコードを可能にし、推論を高速化し、剪定による大幅な圧縮を実現します。

ABSTRACT

Neural machine translation (NMT) offers a novel alternative formulation of translation that is potentially simpler than statistical approaches. However to reach competitive performance, NMT models need to be exceedingly large. In this paper we consider applying knowledge distillation approaches (Bucila et al., 2006; Hinton et al., 2015) that have proven successful for reducing the size of neural models in other domains to the problem of NMT. We demonstrate that standard knowledge distillation applied to word-level prediction can be effective for NMT, and also introduce two novel sequence-level versions of knowledge distillation that further improve performance, and somewhat surprisingly, seem to eliminate the need for beam search (even when applied on the original teacher model). Our best student model runs 10 times faster than its state-of-the-art teacher with little loss in performance. It is also significantly better than a baseline model trained without knowledge distillation: by 4.2/1.7 BLEU with greedy decoding/beam search. Applying weight pruning on top of knowledge distillation results in a student model that has 13 times fewer parameters than the original teacher model, with a decrease of 0.4 BLEU.

研究の動機と目的

• 性能を犠牲にせずにNMTモデルサイズを削減する。
• NMTにおける語レベルおよびシーケンスレベルの知識蒸留を調査する。
• 教師の分布を活用するためのシーケンスレベル補間を検討する。
• 蒸留および剪定されたモデルを使用した場合のデコード速度と圧縮を評価する。

提案手法

• 教師と学生の語分布を一致させることでNMTに標準的な語レベル知識蒸留を適用する。
• 教師のビーム探索出力（q(t|s)のモード）を用いて学生を訓練することで、シーケンスレベル知識蒸留（Seq-KD）を提案する。
• 教師生成データと元データを混合するシーケンスレベル補間（Seq-Inter）を導入する。
• ビーム検索（K=5）を用いて教師分布を近似し、English–GermanとThai–Englishのタスクで評価する。
• 効率化のためのファインチューニングとデータ生成を実施する（例：English–Germanでデータの50%にSeq-Interを適用）。
• 蒸留後のパラメータ削減をさらに進めるためのウェイト剪定を検討する。

実験結果

リサーチクエスチョン

• RQ1 シーケンスレベル知識蒸留はNMTにおいて標準的な語レベル蒸留を上回ることができるか？
• RQ2 Seq-KDは greedyデコードをビーム探索の品質に近づける、または同等にできるか？

主な発見

• Seq-KDはベースラインに対してBLEUを大幅に向上させ、English→GermanでWord-KDを上回り、Thai→Englishでも同様の性能を示す。
• Seq-KDとWord-KDの組み合わせは直交的な利得をもたらし、特に小さな学生モデル（例：2×300/2×100）で顕著。
• Seq-Interはgreedyデコードで教師ビームの性能に匹敵するか上回ることができ、推論を高速化する。
• Seq-KDモデルのgreedyデコードは、同等のBLEUで大きい教師モデルのビーム探索より約10×高速。
• ウェイト剪定により最大で13倍のパラメータ削減が可能で、BLEUの損失は小さく抑えられる（例：80%剪定でBLEU約0.4低下）。
• Seq-KDは教師のモード周辺にピークのある分布を生み出す傾向があり、効果的なgreedyデコードを支援し、ビーム探索の必要性を減らす。