[論文レビュー] Multilingual Neural Machine Translation with Knowledge Distillation

Xu Tan, Yi Ren+4 more|arXiv (Cornell University)|Feb 27, 2019

Natural Language Processing Techniques被引用数 129

ひとこと要約

本論文は、個別に訓練された言語対モデルからの知識蒸留を用いて単一の多言語モデルを訓練する多言語NMTフレームワークを提案し、個別モデルとほぼ同等の精度を、はるかに少ないパラメータ数で達成する。

ABSTRACT

Multilingual machine translation, which translates multiple languages with a single model, has attracted much attention due to its efficiency of offline training and online serving. However, traditional multilingual translation usually yields inferior accuracy compared with the counterpart using individual models for each language pair, due to language diversity and model capacity limitations. In this paper, we propose a distillation-based approach to boost the accuracy of multilingual machine translation. Specifically, individual models are first trained and regarded as teachers, and then the multilingual model is trained to fit the training data and match the outputs of individual models simultaneously through knowledge distillation. Experiments on IWSLT, WMT and Ted talk translation datasets demonstrate the effectiveness of our method. Particularly, we show that one model is enough to handle multiple languages (up to 44 languages in our experiment), with comparable or even better accuracy than individual models.

研究の動機と目的

• 多くの言語ペアにわたって高い精度を維持しつつ、訓練コストと提供コストを削減するために多言語NMTを推進する。
• 言語ペア教師モデルからの知識蒸留を活用して、単一の多言語学生モデルを訓練する。
• 多様なデータセット（IWSLT、WMT、Ted talk）で、別個のモデルと同等またはそれ以上の精度を多言語モデルが達成できることを示す。
• 訓練の効率とメモリ使用を管理するための選択的蒸留とTop-K蒸留を検討する。

提案手法

• 各言語ペアごとに個別の言語ペアモデルを教師として訓練する。
• すべての教師に対して、ground-truth NLLと蒸留損失の両方を最小化するよう、単一の多言語学生モデルを訓練する。
• 学生が教師を閾値以上に上回った言語ペアに対して蒸留をオフにする選択的蒸留を使用する。
• オプションとして、Top-K蒸留を用いて1トークンあたり上位Kの教師確率のみを蒸留することでメモリを削減する。
• 訓練中、学生と教師の精度を逐次比較し、それに応じて蒸留の使用を調整する。

実験結果

リサーチクエスチョン

• RQ1 多言語NMTモデルは、それらのモデルからの知識蒸留を用いて、言語ペアに特化したモデルと同等の精度に到達できるか？
• RQ2 選択的蒸留は、弱い教師からの悪影響を減らしつつ、性能の維持または向上に役立つか？
• RQ3 大規模な多言語設定でTop-K蒸留を使用する場合のメモリと性能のトレードオフは何か？

主な発見

• 多言語のベースラインは通常、個別モデルより劣るが、提案された蒸留法は多くの言語ペアでギャップを縮めるか、上回る。
• Multi-Distillation は Ted Talk 設定で総パラメータ数の1/44しか使わず、ほとんどの言語で個別モデルと同等またはそれより良い BLEU を達成する。
• 選択的蒸留は、すべての教師から常時蒸留する場合と比較して、言語の大半でBLEUを改善する。
• Top-K蒸留は、分布全体の蒸留よりも同等またはそれ以上の性能を達成しつつメモリ使用を削減する。
• Back distillation は、多言語蒸留後にいくつかの個別言語モデルを改善する可能性があるが、言語ごとに結果は異なる。