[論文レビュー] Understanding Knowledge Distillation in Non-autoregressive Machine Translation

Chunting Zhou, Graham Neubig+1 more|arXiv (Cornell University)|Nov 6, 2019

Natural Language Processing Techniques参考文献 33被引用数 117

ひとこと要約

本論文は、なぜシーケンスレベルの知識蒸留が非自己回帰翻訳（NAT）を助けるのかを調べ、データの複雑さと忠実度の指標を導入し、複数モデルにわたる教師-生徒ダイナミクスを分析し、NATの容量に合わせて蒸留データを調整する方法を提案し、WMT14 En-De で自己回帰ベースラインに近い最先端のNAT結果を達成する。

ABSTRACT

Non-autoregressive machine translation (NAT) systems predict a sequence of output tokens in parallel, achieving substantial improvements in generation speed compared to autoregressive models. Existing NAT models usually rely on the technique of knowledge distillation, which creates the training data from a pretrained autoregressive model for better performance. Knowledge distillation is empirically useful, leading to large gains in accuracy for NAT models, but the reason for this success has, as of yet, been unclear. In this paper, we first design systematic experiments to investigate why knowledge distillation is crucial to NAT training. We find that knowledge distillation can reduce the complexity of data sets and help NAT to model the variations in the output data. Furthermore, a strong correlation is observed between the capacity of an NAT model and the optimal complexity of the distilled data for the best translation quality. Based on these findings, we further propose several approaches that can alter the complexity of data sets to improve the performance of NAT models. We achieve the state-of-the-art performance for the NAT-based models, and close the gap with the autoregressive baseline on WMT14 En-De benchmark.

研究の動機と目的

• 知識蒸留がNATの訓練と性能を改善する理由を調査する。
• 蒸留データがデータの複雑さと翻訳モードに与える影響を定量化する。
• NATモデル容量と最適な蒸留データの複雑さの関係を探る。
• NAT容量に合わせて蒸留データを調整し、自己回帰モデルとのギャップを縮める手法を提案する。

提案手法

• 蒸留によるモード縮小を視覚化するための合成実験を実施する。
• データレベルの指標を定義・算出する：条件付きエントロピー（複雑さ）とKL-ダイバージェンスベースの忠実度（F(d)）。
• 実データと蒸留データのターゲットを用いて、WMT14 En-De で四つのAT教師と六つのNAT学生を体系的に評価する。
• デコーディング戦略（サンプリング、トップ-kサンプリング、グリーディ、ビームサーチ）と蒸留品質への影響を分析する。
• データレベルの改善（Born-Again Networks、Mixture-of-Experts、sequence-level interpolation）を試みて、蒸留データの複雑さと忠実度を調整する。
• NAT容量、蒸留データの複雑さ、翻訳品質のモデル間の相関を報告する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留はNAT出力の多モード性をどう低減し、それがNAT訓練に何故有益なのか。
• RQ2 NATモデル容量と蒸留訓練データの最適な複雑さの関係はどうなるか。
• RQ3 デコーディング方法、BANs、MoE、補間によって蒸留データを変更すると、NATと自己回帰モデルの性能格差をさらに縮められるか。

主な発見

• 蒸留は出力モードと複雑さを低減し、より高い容量のNATモデルほど最適な蒸留データがより複雑である必要がある。
• 容量の大きい教師はデータの複雑さと実データへの忠実度が高い蒸留データを生成し、NATのBLEUを向上させる。
• ビームサーチ蒸留はデータの複雑さを最も効果的に低減しつつ忠実度を維持し、NATの性能を向上させる。
• 弱いNATモデルは複雑さの少ない蒸留データから利益を得る一方で、強いNATモデルはより複雑な蒸留データから恩恵を受ける。
• Born-Again NetworksとMixture-of-Expertsは蒸留データを調整して複雑さを減らすか忠実度を向上させ、NAT結果を改善できる。
• 単純なデータレベルの補間（高BLEUビーム仮説の選択）も特定のモデルでNATの性能をさらに高められる。