[論文レビュー] Understanding Knowledge Distillation in Non-autoregressive Machine Translation

Chunting Zhou, Graham Neubig+1 more|arXiv (Cornell University)|Nov 7, 2019

Natural Language Processing Techniques参考文献 41被引用数 33

ひとこと要約

この論文は、なぜシーケンスレベルの知識蒸留が非自己回帰翻訳（NAT）を助けるのかを分析し、蒸留データの複雑さがNATの性能にどう影響するかを示し、NATの容量にデータの複雑さを合わせる方法を提案して最先端の結果を達成する。

ABSTRACT

Non-autoregressive machine translation (NAT) systems predict a sequence of output tokens in parallel, achieving substantial improvements in generation speed compared to autoregressive models. Existing NAT models usually rely on the technique of knowledge distillation, which creates the training data from a pretrained autoregressive model for better performance. Knowledge distillation is empirically useful, leading to large gains in accuracy for NAT models, but the reason for this success has, as of yet, been unclear. In this paper, we first design systematic experiments to investigate why knowledge distillation is crucial to NAT training. We find that knowledge distillation can reduce the complexity of data sets and help NAT to model the variations in the output data. Furthermore, a strong correlation is observed between the capacity of an NAT model and the optimal complexity of the distilled data for the best translation quality. Based on these findings, we further propose several approaches that can alter the complexity of data sets to improve the performance of NAT models. We achieve the state-of-the-art performance for the NAT-based models, and close the gap with the autoregressive baseline on WMT14 En-De benchmark.

研究の動機と目的

• 知識蒸留がNATモデルの性能を向上させる理由を調査する。
• 並列データの複雑さと忠実度を定量化する指標を開発する。
• AT教師とNAT学生間でNAT容量と蒸留データの複雑さの関係を分析する。
• データ蒸留とトレーニングの調整を提案し、NAT容量により適合させて自己回帰モデルとのギャップを縮める。

提案手法

• 蒸留によるモード削減を可視化するために合成マルチモーダルデータを使用する。
• 並列データの複雑さを定義（条件エントロピー）し、忠実度を定義（KL発散）する指標を定義する。
• 実データと蒸留データでWMT14 En-Deの4つのAT教師と6つのNAT学生を系統的に評価する。
• AT教師のデコード戦略がNATの結果に与える影響を分析する。
• 蒸留データの複雑さを調整するためにBANs、MoE、シーケンスレベル補間の改良を実験する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は出力モードをどのように削減し、その削減をどう定量化できるか。
• RQ2 NATモデル容量と蒸留データの最適な複雑さとの関係はどうなるか。
• RQ3 異なるAT教師と蒸留戦略はNATの性能向上に差をもたらすか。
• RQ4 蒸留データを修正してNAT容量により適合させ、AT-NATの性能ギャップを埋められるか。

主な発見

• 蒸留はデータの複雑さ（条件エントロピーの低下）を減らし、元の分布への忠実度を高め、NATの性能と相関する。
• 容量の高いAT教師は蒸留データの複雑さを高め、対応するNATモデルはそのデータで訓練されたときBLEUが向上する。
• ビーム探索蒸留はNATの性能にとって複雑さの削減と忠実度の最適なバランスを生み出す最も有利な手法である。
• NATモデルは適切に一致したAT教師の容量からの蒸留データで訓練されたとき最良の結果を示す。たとえば、通常のNATは小さなTransformerからの蒸留データで優れ、LevTは大きなTransformerからのデータから利益を得る。
• 最先端のNAT結果は蒸留データを調整することによって達成される。LevTおよびLevT-bigは、適切に蒸留されたデータを用いるとWMT14 En-Deで自己回帰ベースラインとのギャップをほぼ埋めることができる。
• BANs、MoEベースの蒸留、シーケンスレベル補間などの改善は、データの複雑さと忠実度をモデル容量に合わせて調整することでNATの性能をさらに高める。