[論文レビュー] Fine-Tuning by Curriculum Learning for Non-Autoregressive Neural Machine Translation

Junliang Guo, Xu Tan+4 more|arXiv (Cornell University)|Nov 20, 2019

Natural Language Processing Techniques参考文献 37被引用数 8

ひとこと要約

本稿では、事前学習済みの自己回帰的翻訳（AT）モデルから段階的に知識を転送することで、非自己回帰的神経機械翻訳（NAT）の性能を向上させる、カリキュラム学習に基づく微調整手法を提案する。デコーダー入力およびアテンションマスクの制御されたカリキュラムスケジューリングにより、段階的に自己回帰的から非自己回帰的デコードに移行することで、複数のベンチマークで1 BLEU以上の翻訳精度の向上を達成した。一方で、ATモデルと比較して10倍以上の高速化を維持した。

ABSTRACT

Non-autoregressive translation (NAT) models remove the dependence on previous target tokens and generate all target tokens in parallel, resulting in significant inference speedup but at the cost of inferior translation accuracy compared to autoregressive translation (AT) models. Considering that AT models have higher accuracy and are easier to train than NAT models, and both of them share the same model configurations, a natural idea to improve the accuracy of NAT models is to transfer a well-trained AT model to an NAT model through fine-tuning. However, since AT and NAT models differ greatly in training strategy, straightforward fine-tuning does not work well. In this work, we introduce curriculum learning into fine-tuning for NAT. Specifically, we design a curriculum in the fine-tuning process to progressively switch the training from autoregressive generation to non-autoregressive generation. Experiments on four benchmark translation datasets show that the proposed method achieves good improvement (more than $1$ BLEU score) over previous NAT baselines in terms of translation accuracy, and greatly speed up (more than $10$ times) the inference process over AT baselines.

研究の動機と目的

• 非自己回帰的（NAT）と自己回帰的（AT）神経機械翻訳モデルの間の精度格差を是正すること。
• 両者の訓練戦略の違いにもかかわらず、良好に訓練されたATモデルからNATモデルへの有効な知識転送を可能にすること。
• ATからNAT生成への段階的移行を実現するカリキュラムを導入することで、NATモデルの性能を向上させること。
• NATモデルにおけるターゲット文脈の喪失が引き起こす翻訳品質の低下を軽減すること。
• 構造的な知識蒸留を用いて、推論速度と翻訳精度の間のより良いトレードオフを達成すること。

提案手法

• 微調整中に、ATデコーダー入力（以前のターゲットトークン）をNATデコーダー入力（ソースコピーまたは他のターゲットに依存しない信号）に段階的に置き換えるカリキュラムを設計する。
• アテンションマスクをATスタイル（左から右）からNATスタイル（完全自己注意）に段階的に移行させ、初期はATに近い状態から開始し、事前に定義された段階で完全にNATに切り替える。
• デコーダー入力の置き換え率は訓練ステップに伴い単調に増加させ、最適なパフォーマンスを得るための対数的ペース設定関数を用いる。
• 2種類の置き換え戦略を評価：トークンレベル（個々のトークンごとの置き換え）と文レベル（文全体の置き換え）、その結果、前者が優れた結果を示した。
• 移行過程における中間状態を活用することで、ATモデルからの知識を保持しつつNAT設定に適応する。
• ハイブリッド訓練戦略を用いて、ATから始まり段階的にNATに移行する形で、事前学習済みATモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 良好に訓練された自己回帰的モデルを、非自己回帰的翻訳精度の向上を図るために効果的に微調整できるか？
• RQ2 カリキュラム学習をどのように自己回帰的と非自己回帰的訓練戦略のギャップを埋めるために適用できるか？
• RQ3 微調整中に自己回帰的から非自己回帰的生成に移行する際の最適なペース設定関数は何か？
• RQ4 デコーダー入力の置き換えにトークンレベルと文レベルのどちらがNAT微調整でより優れたパフォーマンスをもたらすか？
• RQ5 本手法は、明示的な正則化なしに、NAT出力における繰り返しトークン生成をどの程度軽減できるか？

主な発見

• 提案手法は、IWSLT14ドイツ語-英語タスクでベースラインNATモデル比1.87 BLEU、WMT14英語-ドイツ語タスクで1.14 BLEUの翻訳精度向上を達成した。
• 4つのベンチマークデータセットすべてにおいて、従来のNATベースラインと比較して1 BLEU以上の向上を達成した。
• 対数的ペース設定関数が線形関数や階段状関数よりも優れており、高い置き換え率に長期間さらされることの利点が示された。
• トークンレベルの置き換え戦略は文レベルの戦略を著しく上回り、知識転送過程における中間状態の活用の重要性を示した。
• 明示的な正則化なしに、文あたりの連続する繰り返しトークンの平均数をベースラインNATモデルと比較して57%削減した。
• 推論速度は自己回帰的ベースラインと比較して10倍以上高速であり、競争力のある翻訳品質を維持した。