[論文レビュー] Glancing Transformer for Non-Autoregressive Neural Machine Translation

Lihua Qian, Hao Zhou+6 more|arXiv (Cornell University)|Aug 18, 2020

Natural Language Processing Techniques参考文献 32被引用数 20

ひとこと要約

本稿では、非自己回帰的神経機械翻訳モデルとして、適応的で一回限りの並列デコードを通じて語の依存関係を学ぶためのグランジング言語モデル（GLM）を用いるGlancing Transformer（GLAT）を提案する。学習中に参照文の語を動的にサンプリングし、[MASK]トークンの代わりにエンコーダ表現を用いることで、GLATは自己回帰的Transformerよりも8×–15×の高速化を達成しながら、複数のWMTベンチマークでBLEU差をわずか0.25–0.9ポイントにまで縮小した。

ABSTRACT

Recent work on non-autoregressive neural machine translation (NAT) aims at improving the efficiency by parallel decoding without sacrificing the quality. However, existing NAT methods are either inferior to Transformer or require multiple decoding passes, leading to reduced speedup. We propose the Glancing Language Model (GLM), a method to learn word interdependency for single-pass parallel generation models. With GLM, we develop Glancing Transformer (GLAT) for machine translation. With only single-pass parallel decoding, GLAT is able to generate high-quality translation with 8-15 times speedup. Experiments on multiple WMT language directions show that GLAT outperforms all previous single pass non-autoregressive methods, and is nearly comparable to Transformer, reducing the gap to 0.25-0.9 BLEU points.

研究の動機と目的

• 自己回帰的でない神経機械翻訳と自己回帰的神経機械翻訳の性能差を、推論速度を犠牲にせずに埋める。
• 自己回帰的生成によって通常学ばれる語の依存関係を、非自己回帰モデルにおける一回の並列デコードで捉えることを可能にする。
• 文の断片から完全な系列へと段階的に学習を進めるカリキュラム学習を模倣する訓練戦略を開発する。
• [MASK]トークン機構を、生成品質を向上させるためにより自然なエンコーダ表現に置き換える。

提案手法

• 学習中に2回のデコードパスを実行するグランジング言語モデル（GLM）を導入：まず標準的なNATパスで難易度を評価し、次に参照文から予測が難しい語をサンプリングするグランジングパスを実行する。
• 予測の信頼度が低い語を優先する適応的グランジングサンプリング戦略を採用し、断片から完全な系列へと段階的な学習を可能にする。
• マスク言語モデルにおける[MASK]トークンを、対応する位置の直接的なエンコーダ表現に置き換えることで、文脈認識を強化する。
• 2番目のデコードパスでのみモデルを訓練し、サンプリングされなかった語の予測を最適化することで、完全な系列生成のエンドツーエンド学習を保証する。
• グランジングサンプリングにランダムな語選択戦略を採用し、語の依存関係の探索を広く行うことで、信頼度ベースの戦略を上回る実験的性能を達成した。
• モデルの信頼度が向上するにつれてグランジングサンプリングを徐々に減少させるカリキュラム学習の原則を適用し、安定的かつ効果的な一回の推論による推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 イテレーションによる精錬なしに、一回の推論で自己回帰的Transformerに近い性能を達成できる非自己回帰モデルは存在するか？
• RQ2 学習中の適応的グランジングサンプリングは、並列生成における語の依存関係モデリングを改善するか？
• RQ3 [MASK]トークンをエンコーダ表現に置き換えることで、非自己回帰モデルにおける生成品質は向上するか？
• RQ4 サンプリング戦略の選択（ランダム対信頼度ベース）が最終的な翻訳品質に与える影響は何か？
• RQ5 GLATは、高い推論速度を維持しながら、自己回帰的モデルとのBLEU差をどの程度縮められるか？

主な発見

• GLATは、複数のWMT言語方向で自己回帰的Transformerよりも8×–15×の高速化を達成し、BLEU差をわずか0.25–0.9ポイントにまで縮小した。
• WMT14 DE-ENでは、参照文の長さが20語未満の場合は、強力なマスク予測イテレーティブ手法を上回った。
• ランダムなグランジングサンプリング戦略が最良の性能を示し、ヴァナイルNATよりも5.0ポイント、信頼度ベースの戦略よりも0.3–0.6ポイントのBLEU向上を達成した。
• [MASK]トークンをエンコーダ表現に置き換えることで、グランジングサンプリングを採用した後でも、0.2–0.3のBLEUポイントの向上が得られた。
• アブレーションスタディの結果、適応的グランジングサンプリングが性能向上の主因であり、エンコーダ表現は二次的だが有意義な向上をもたらした。
• GLATはWMT14 EN-DEで25.21のBLEU、WMT14 DE-ENで29.84のBLEUを達成し、すべての先行する一回の推論非自己回帰手法を上回った。