[論文レビュー] Explaining Sequence-Level Knowledge Distillation as Data-Augmentation for Neural Machine Translation

Mitchell A. Gordon, Kevin Duh|arXiv (Cornell University)|Dec 6, 2019

Natural Language Processing Techniques参考文献 9被引用数 22

ひとこと要約

この論文は、ニューラル機械翻訳におけるシーケンスレベルの知識蒸留（SLKD）を、ノイズの多いデータを単純化する手法としてではなく、教師の学習済み多様体に小規模な学生モデルを整合させる implicitly regularized データ拡張の一種として再解釈する。著者らは、ドロップアウトを必要とせずに一般化性能を向上させることを示し、TED TalksでBLEUスコアが0.7–1.2向上することを実証し、バックトランスレーションやビームサーチ出力と組み合わせることで性能がさらに向上することを示している。

ABSTRACT

Sequence-level knowledge distillation (SLKD) is a model compression technique that leverages large, accurate teacher models to train smaller, under-parameterized student models. Why does pre-processing MT data with SLKD help us train smaller models? We test the common hypothesis that SLKD addresses a capacity deficiency in students by "simplifying" noisy data points and find it unlikely in our case. Models trained on concatenations of original and "simplified" datasets generalize just as well as baseline SLKD. We then propose an alternative hypothesis under the lens of data augmentation and regularization. We try various augmentation strategies and observe that dropout regularization can become unnecessary. Our methods achieve BLEU gains of 0.7-1.2 on TED Talks.

研究の動機と目的

• 小規模ニューラル機械翻訳（NMT）モデルにおけるシーケンスレベルの知識蒸留（SLKD）の性能向上要因を解明すること。
• 小規模モデルの容量制限に起因するノイズの多い学習データの単純化によってSLKDが機能するという仮説を検証すること。
• SLKDが容量補正ではなく、データ拡張および暗黙の正則化の一種として機能するかどうかを調査すること。
• SLKDが小規模モデルにおけるドロップアウトなどの明示的正則化技術を置き換えることができるかどうかを評価すること。
• バックトランスレーションや複数のビーム出力といった他のデータ拡張戦略と組み合わせた場合の、SLKDの一般化への利点を評価すること。

提案手法

• 著者らは、TEDドイツ語-英語データセット上で大規模な教師モデルを学習し、ビームサーチを用いて訓練データの翻訳を生成する。
• オリジナルデータと教師モデルの翻訳を組み合わせることで、拡張された訓練データセット（'KD'データ）を作成する。
• 追加のデータ拡張として、KDデータとバックトランスレーション出力を組み合わせたもの（'base+kd+bt'）や、上位2つのビーム出力を利用したもの（'base+best-2'）を用いる。
• これらの拡張済みデータセット上で小規模および大規模な学生モデルを学習し、BLEUスコアと訓練の perplexity を用いて性能を比較する。
• ドロップアウト正則化を除去することで、SLKDが小規模モデルにおける明示的正則化の代替として機能するかどうかをテストする。
• 収束曲線を分析し、複数のランダムシードを用いて結果を検証することで、結果の堅牢性を確認する。

実験結果

リサーチクエスチョン

• RQ1 SLKDが、小規模モデルの容量制限に起因するノイズの多いデータポイントの単純化によって性能を向上させているという仮説は妥当か？
• RQ2 SLKDは、学習済みの訓練分布を正則化するデータ拡張の一種として解釈できるか？
• RQ3 SLKDは、小規模な学生モデルにおけるドロップアウトのような明示的正則化技術の必要性を低減するか？
• RQ4 バックトランスレーションや複数のビーム出力といった異なるデータ拡張戦略は、SLKDとどのように相互作用するか？
• RQ5 SLKDによる性能向上は、明示的なデータ単純化ではなく、教師の学習済み多様体に沿った暗黙の正則化によるものか？

主な発見

• ノイズの多いデータポイントの単純化によってSLKDが性能を向上させるとする仮説は不確実である。オリジナルデータとKDデータを連結して学習したモデルは、SLKD単体で学習したモデルと同等の一般化性能を示す。
• SLKDは、小規模モデルを教師の学習済み多様体に導くことで、モデル容量の制限を設けずに一般化性能を向上させる暗黙の正則化器として機能する。
• ドロップアウトを除去した場合、ベースラインとSLKDモデルの性能差が拡大する。これは、SLKDがドロップアウトの代替として正則化に機能できることを示唆している。
• SLKDをバックトランスレーションや上位2つのビーム出力と組み合わせることで、BLEUスコアが段階的に向上し、大規模な学生モデルで最高32.99のBLEUスコアを達成した。
• 拡張済みデータセットはベースラインよりも速く収束し、長時間の訓練を必要としない。これは、SLKDがデータ効率を向上させることを示している。
• 結果は小規模および大規模な両方の学生モデルに共通しており、モデル容量が制限要因でない場合でも、SLKDの正則化効果が有効であることが示された。