[論文レビュー] Why Skip If You Can Combine: A Simple Knowledge Distillation Technique for Intermediate Layers

Yimeng Wu, Peyman Passban+2 more|arXiv (Cornell University)|Oct 6, 2020

Natural Language Processing Techniques参考文献 19被引用数 4

ひとこと要約

本稿では、中間層の特徴をスキップせずに、深層教師ネットワークの特徴をコンactしたコンactされた学生ネットワークに統合する、新しい知識蒸留技術、組合せ的知識蒸留（CKD）を提案する。既存手法における「スキップ問題」を解決し、12層教師と比較して50%少ないパラメータで、低リソースNMTタスクにおいて同等の翻訳品質を達成する。

ABSTRACT

With the growth of computing power neural machine translation (NMT) models also grow accordingly and become better. However, they also become harder to deploy on edge devices due to memory constraints. To cope with this problem, a common practice is to distill knowledge from a large and accurately-trained teacher network (T) into a compact student network (S). Although knowledge distillation (KD) is useful in most cases, our study shows that existing KD techniques might not be suitable enough for deep NMT engines, so we propose a novel alternative. In our model, besides matching T and S predictions we have a combinatorial mechanism to inject layer-level supervision from T to S. In this paper, we target low-resource settings and evaluate our translation engines for Portuguese--English, Turkish--English, and English--German directions. Students trained using our technique have 50% fewer parameters and can still deliver comparable results to those of 12-layer teachers.

研究の動機と目的

• 深層教師モデルの中間層が浅い学生モデルとアーキテクチャの不一致によりマッチングできないという知識蒸留における「スキップ問題」を解決すること。
• 最終予測に加えて中間層表現を活用することで、ニューラル機械翻訳における知識蒸留を改善すること。
• 選択的でないプルーニングやスキップなしに、教師の全層をフルに活用できる手法を開発し、学生モデルの性能を向上させること。
• 新しい組合せ的メカニズムを用いて中間層特徴を連結することで、特徴を統合する手法の有効性を示すこと。
• 低リソースNMT設定において、本手法の有効性を検証し、コンactな学生モデルが大規模教師モデルと同等の性能を達成できることを示すこと。

提案手法

• 教師ネットワークの複数のエンコーダ層から得られる中間層特徴を、蒸留用の単一表現に連結する組合せ的メカニズムを提案する。
• 標準の交差エントロピー損失（ハード損失）、標準の知識蒸留損失（ソフト損失）、および新たな中間層蒸留損失を組み合わせた新しい損失関数を導入する。
• 中間層損失は、複数の教師エンコーダ層の連結出力を、対応する学生エンコーダ層の出力と一致させることを目的とする。
• 重み付き損失の組み合わせを用いる：総損失 = β×ハード損失 + η×ソフト損失 + λ×中間層損失、ここで λ=0.7 および η=0.1 であり、ハイパーパramータサーチにより最適化される。
• 蒸留処理はエンコーダ側に限定し、デコーダ層は教師と接続しないことで、性能の低下を回避する。
• マルチヘッドアテンションを用いたアーキテクチャと残差接続を採用し、12層教師に対して4層エンコーダを持つ学生モデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層教師モデルの複数の中間層特徴を組み合わせる知識蒸留手法が、層をスキップする既存手法を上回る性能を発揮できるか？
• RQ2 中間表現の組合せ的統合は、層ごとのマッチングや予測のみの蒸留と比較して、学生モデルの性能向上に寄与するか？
• RQ3 12層教師と比較して50%少ないパラメータを持つコンパクトな学生モデルが、低リソースNMT設定で同等の翻訳品質を達成できるか？
• RQ4 大規模NMTデータセットにおいて、本手法はPKDなどの既存技術と比較してどのように性能を発揮するか？
• RQ5 中間層の統合による性能向上は、統計的に有意かつさまざまな言語対において一貫性を示すか？

主な発見

• ポルトガル語→英語翻訳タスクにおいて、CKDは43.78のBLEUスコアを達成し、PKD（43.28）および元のRKDベースラインを上回った。
• 英語→ドイツ語翻訳では、CKDが24.14のBLEUを達成し、PKD（23.38）およびNo-KD（24.31）を上回り、タスク全体で一貫した向上を示した。
• 英語→フランス語翻訳では、CKDが36.10のBLEUを達成し、No-KD（35.45）およびPKD（34.97）を上回り、大規模データセットでも有効性が確認された。
• 本手法により、12層教師と比較して50%少ないパラメータを持つ学生モデルが、その性能を再現可能であることが実証された。
• 実験では、PKDにおける自己アテンション成分のマッチングがわずかに性能向上をもたらしたが、CKDは依然としてこれらの強化版を上回った。
• 中間層損失に高い重み（λ=0.7）が割り当てられていることから、高品質なコンパクトモデルの訓練において、この損失が極めて重要な役割を果たしていることが示された。