[論文レビュー] Ensemble Distillation for Neural Machine Translation

Markus Freitag, Yaser Al-Onaizan+1 more|arXiv (Cornell University)|Feb 6, 2017

Natural Language Processing Techniques参考文献 8被引用数 64

ひとこと要約

本論文は、NMTの知識蒸留を用いてアンサンブルおよび oracle Bleu 教師の品質を単一の学生モデルへ転送することを示す。データのフィルタリングと同一アーキテクチャの教師を用いた訓練を含み、デコードをより速く行いながら翻訳品質は同等かそれ以上を達成する。さらに、データの剪定とモデルサイズの削減を行っても性能喪失はないことを示している。

ABSTRACT

Knowledge distillation describes a method for training a student network to perform better by learning from a stronger teacher network. Translating a sentence with an Neural Machine Translation (NMT) engine is time expensive and having a smaller model speeds up this process. We demonstrate how to transfer the translation quality of an ensemble and an oracle BLEU teacher network into a single NMT system. Further, we present translation improvements from a teacher network that has the same architecture and dimensions of the student network. As the training of the student model is still expensive, we introduce a data filtering method based on the knowledge of the teacher model that not only speeds up the training, but also leads to better translation quality. Our techniques need no code change and can be easily reproduced with any NMT architecture to speed up the decoding process.

研究の動機と目的

• NMT品質を改善しつつ、より高速なデコードを実現するために知識蒸留の活用を動機づける。
• エン ensemble/ Oracle Bleu 教師の知識を単一の学生モデルへ転送することを実証する。教師と学生が同じアーキテクチャやサイズを共有するケースを含む。
• 翻訳品質 (Ter) に基づくデータフィルタリング技術を示し、訓練を高速化し改善する。
• ドイツ語-英語の翻訳品質に対する教師タイプ、データフィルタリング、モデルサイズ削減の影響を評価する。

提案手法

• 教師を用いて全訓練データを翻訳し、学生の疑似ターゲットを作成する。
• 元の参照値と組み合わせる場合もあるが、(ソース, 教師翻訳) のペアで学生を訓練する。
• 異なる教師タイプを用いて実験する。単一の同一アーキテクチャの教師、6モデルのアンサンブル、、オラクル Bleu ベースの教師。
• Terベースのデータ剪定を適用し、ノイズの多い文対を除去する。
• 埋め込み次元と隠れ層の次元を低減して学生モデルのサイズを削減し、性能を維持または向上させる。

実験結果

リサーチクエスチョン

• RQ1 エン ensemble 教師からの知識蒸留は、NMTにおける単一教師の蒸留と同等かそれを超えるか？
• RQ2 教師と同じアーキテクチャを持つ学生は蒸留から依然として利益を得られるか、どの程度か？
• RQ3 翻訳品質（Ter）に基づくデータフィルタリングは訓練効率と翻訳品質を改善するか？
• RQ4 NMT の性能における oracle Bleu ベースの蒸留とアンサンブルベースの蒸留を比較するとどうなるか？
• RQ5 エン ensemble 教師に導かれた場合の学生モデルサイズ削減が翻訳品質に与える影響は何か？

主な発見

• アンサンブル教師蒸留は、データ剪定を伴うベースラインより Bleu を約2.0ポイント、Ter を約2.2ポイント改善する（Ter ≤ 0.8）。
• 前方翻訳と元の参照を組み合わせた単一アーキテクチャ蒸留は、Bleu 約1.4、Ter 約1.0–1.2 の利得をもたらす。
• Oracle Bleu 教師蒸留は利得を提供するが、アンサンブル教師の結果にはわずかに及ばない。
• ノイズの多い訓練データ（Ter > 0.8）を剪定すると訓練データが約12%削減され、訓練が速くなり、品質を維持または向上させる。
• 埋め込み/隠れ層サイズを小さくした学生モデル（例: 150/300）は、蒸留下でベースラインに一致または上回り、場合によってはより大きい教師をBleu/Terで打ち負かす。
• エンサンブル教師からの知識蒸留は、小さな学生が同等またはそれ以上の翻訳品質を得ることを可能にし、デコードを大幅に高速化し、メモリ使用量を削減する。