[論文レビュー] Self-Distillation Mixup Training for Non-autoregressive Neural Machine Translation

Jiaxin Guo, Minghan Wang+12 more|arXiv (Cornell University)|Dec 22, 2021

Machine Learning and Data Classification被引用数 8

ひとこと要約

本稿では、自己蒸留Mixup訓練の強化版であるSDMRTを提案する。非自己回帰的神経機械翻訳(NAT)モデルに古典的SDMが失敗する理由を解明し、自己蒸留データに対する事前再ランク付けと教師-蒸留データのフィルタリングによる微調整を導入することで、AT教師とNAT学生間のモデル多様性と確認バイアスを低減する。本手法により、ベースラインより0.6–1.2 BLEU向上を達成し、反復的精錬NATモデルでは2倍の推論速度向上を実現した。

ABSTRACT

Recently, non-autoregressive (NAT) models predict outputs in parallel, achieving substantial improvements in generation speed compared to autoregressive (AT) models. While performing worse on raw data, most NAT models are trained as student models on distilled data generated by AT teacher models, which is known as sequence-level Knowledge Distillation. An effective training strategy to improve the performance of AT models is Self-Distillation Mixup (SDM) Training, which pre-trains a model on raw data, generates distilled data by the pre-trained model itself and finally re-trains a model on the combination of raw data and distilled data. In this work, we aim to view SDM for NAT models, but find directly adopting SDM to NAT models gains no improvements in terms of translation quality. Through careful analysis, we observe the invalidation is correlated to Modeling Diversity and Confirmation Bias between the AT teacher model and the NAT student models. Based on these findings, we propose an enhanced strategy named SDMRT by adding two stages to classic SDM: one is Pre-Rerank on self-distilled data, the other is Fine-Tune on Filtered teacher-distilled data. Our results outperform baselines by 0.6 to 1.2 BLEU on multiple NAT models. As another bonus, for Iterative Refinement NAT models, our methods can outperform baselines within half iteration number, which means 2X acceleration.

研究の動機と目的

• 自己回帰的(AT)教師から蒸留されたデータで訓練された非自己回帰的(NAT)モデルに、古典的自己蒸留Mixup(SDM)を直接適用した場合の性能劣化を是正すること。
• SDMがNAT学習において効果を発揮しない背後要因、特にAT教師とNAT学生間のモデル多様性と確認バイアスの役割を解明すること。
• 構造的なデータ前処理と微調整ステージを導入することで、蒸留プロセスを強化し、NATモデルの性能を向上させること。
• 反復的精錬NATモデルの refinement ステップ数を削減することで、推論速度を向上させること。

提案手法

• ATモデルを用いて自己蒸留データに対して事前再ランク付けステージを導入し、教師モデルと学生モデル間のモデル多様性を低減する。
• ATから蒸留されたデータに対してデータフィルタリング戦略を適用し、低品質または繰り返しの多い予測を除去することで、確認バイアスを軽減する。
• オリジナルデータとフィルタリング・再ランク付け済みの蒸留データの組み合わせを用いて、NAT学生モデルを微調整することで一般化性能を向上させる。
• 再ランク付けの有効性を評価するために、AT-Rerank（教師モデルに基づく）とLM-Rerank（言語モデルに基づく）を用い、AT-Rerankが優れた性能を示した。
• WMT14およびIWSLT14データセットで、fairseqを用いて240kの事前学習ステップと60kの微調整ステップを実行してモデルを訓練する。
• BLEUスコア、パープレキシティ、トークンの繰り返し率を用いて、分布の忠実性と確認バイアスを分析する。

実験結果

リサーチクエスチョン

• RQ1 なぜ古典的自己蒸留Mixup(SDM)は、ATから蒸留されたデータで訓練されたNATモデルに直接適用した場合に失敗するのか？
• RQ2 AT教師とNAT学生間のモデル多様性と確認バイアスは、NAT学習におけるSDMの有効性にどのように影響を与えるのか？
• RQ3 事前再ランク付けとデータフィルタリングステージにより、多様性とバイアスを低減することで、SDMのNATモデルにおける性能向上が達成可能か？
• RQ4 SDMRTは、反復的精錬NATモデルにおける精錬ステップ数をどの程度削減できるか？
• RQ5 再ランク付け戦略としてAT-RerankとLM-RerankのどちらがSDMRTパイプラインでより優れた性能を発揮するか？

主な発見

• SDMRTは、WMT14およびIWSLT14翻訳タスクにおける複数のNATモデルで、ベースラインより0.6–1.2 BLEUの向上を達成した。
• WMT14 EN→DEタスクにおいて、CMLMにSDMRTを適用した場合、元のモデルの性能を5ステップで達成し、標準の10ステップベースラインと比較して2倍の加速を実現した。
• 事前再ランク付けステージでAT-Rerankを用いることで、LM-Rerankよりも優れた結果が得られ、特にCMLMではベースライン比0.74 BLEUの向上を達成した。
• 微調整ステージにおけるデータフィルタリングは極めて重要である。教師から蒸留されたデータから0.84%の低品質例を除去することで、NAT-CRFの性能が0.85 BLEUポイント向上した。
• 再検証実験では、再ランク付けによりNAT-CRFの予測の平均パープレキシティが127.59から76.55に低下し、予測分布が元のデータ分布に近づいた。
• NAT-CRFにおける繰り返しトークンの割合は、SDMの0.937%からSDMRTの0.533%に低下し、確認バイアスの低減が確認された。