[論文レビュー] The Volctrans GLAT System: Non-autoregressive Translation Meets WMT21

Lihua Qian, Yi Zhou+8 more|arXiv (Cornell University)|Sep 23, 2021

Natural Language Processing Techniques参考文献 19被引用数 6

ひとこと要約

本論文では、WMT21 ドイツ語-英語ニュース翻訳タスクにおいて最先端の性能を達成する非自己回帰的翻訳モデルである Volctrans GLAT システムを提示する。知識蒸留、段階的訓練、ドメイン適応、および多様な特徴を用いた再ランク付け戦略を組み合わせることで、BLEU スコア 35.0 を達成し、すべての自己回帰的ベースラインを上回った。これは、並列デコードが速度と正確性の両面で自己回帰的手法を上回ることを示している。

ABSTRACT

This paper describes the Volctrans' submission to the WMT21 news translation shared task for German->English translation. We build a parallel (i.e., non-autoregressive) translation system using the Glancing Transformer, which enables fast and accurate parallel decoding in contrast to the currently prevailing autoregressive models. To the best of our knowledge, this is the first parallel translation system that can be scaled to such a practical scenario like WMT competition. More importantly, our parallel translation system achieves the best BLEU score (35.0) on German->English translation task, outperforming all strong autoregressive counterparts.

研究の動機と目的

• WMT21 ニュース翻訳共有タスク向けに、高性能で効率的な非自己回帰的翻訳システムを開発すること。
• 補助デコーダーを導入することで、非自己回帰モデルにおける訓練と推論の乖離を是正すること。
• データ蒸留、段階的訓練、ドメイン適応を通じてモデル性能を向上させること。
• 高い推論速度を維持しながらトップの BLEU スコアを達成し、自己回帰モデルの優位性に挑戦すること。
• 並列デコードが翻訳品質において自己回帰デコードを上回れることを実証すること。

提案手法

• 本システムは、2段階の訓練プロセスを用いる Glancing Transformer (GLAT) に基づいている。最初に並列で完全な文を生成し、その後部分的な予測をマスキングして精錬することで、訓練と推論の乖離を低減する。
• 訓練を改善し、訓練と推論のギャップを低減するために、GLAT デコーダーと同じエンコーダーを共有する補助デコーダーを導入した。
• 大規模な自己回帰モデルを用いて合成平行データを生成し、それを非自己回帰モデルの学習に用いることで、知識蒸留を適用した。
• 蒸留データを用いて段階的にモデルを精錬することで、一般化性能とロバスト性を向上させる段階的訓練を採用した。
• 推論では、複数の長さ候補を用いたノイズを含む並列デコードを実行し、11個の選択された特徴を用いて252個の候補から最良の仮説を選択する再ランク付け機構を用いた。
• 再ランク付けモデルは kbmira を用いて最適化され、特徴グループを段階的に追加し、newstest20 で重みを調整することで BLEU スコアを最大化した。

実験結果

リサーチクエスチョン

• RQ1 WMT21 のような大規模で現実世界の翻訳ベンチマークにおいて、非自己回帰的翻訳システムが自己回帰的手法を上回る性能を達成できるか。
• RQ2 段階的訓練と組み合わせた場合、知識蒸留が非自己回帰モデルの性能向上にどの程度効果的か。
• RQ3 ドメイン適応と補助デコーダーは、非自己回帰モデルにおける訓練と推論のギャップをどの程度是正できるか。
• RQ4 多様な特徴と複数のモデルバリアントを用いた再ランク付けは、非自己回帰システムの最終的な翻訳品質を顕著に向上させられるか。
• RQ5 高い推論速度を維持しながら、並列デコード戦略で最先端の BLEU スコアを達成することは可能か。

主な発見

• Volctrans GLAT システムは、WMT21 newstest21 ドイツ語-英語翻訳セットで BLEU スコア 35.0 を達成し、すべての自己回帰的ベースラインを上回った。
• 補助デコーダーの導入により、ベースライン GLAT モデルに比べて約 0.6 BLEU ポイントの性能向上が達成された。
• ターゲット単語語彙データに対する知識蒸留により、0.3 BLEU の向上が得られ、効果的なデータ利用が示された。
• GLAT モデルにおけるドメイン適応により、0.2 BLEU の追加向上が得られた。これは、すでにサイクル知識蒸留データにドメイン内情報が含まれていたにもかかわらずである。
• 多様な特徴と最適化された kbmira 重みを用いた最終段階の再ランク付けにより、0.6 BLEU ポイントの向上が得られ、仮説再ランク付けの有効性が裏付けられた。
• 本システムは、非自己回帰モデルが最先端の結果を達成できることを示し、自己回帰モデルが翻訳品質において本質的に優れているという仮定に挑戦した。