[論文レビュー] Semi-Autoregressive Neural Machine Translation

Chunqi Wang, Ji Zhang+1 more|arXiv (Cornell University)|Aug 26, 2018

Natural Language Processing Techniques参考文献 22被引用数 12

ひとこと要約

本稿では、翻訳品質を維持しつつ、各時刻ステップで複数の単語を並列に生成するが、全体としての自己回帰的構造を保つことで、新たな系列生成モデルである半自己回帰的トランスフォーマー（SAT）を提案する。WMT’14 英語＝ドイツ語翻訳において、標準的なトランスフォーマーと比較して 5.58 倍の高速化を達成し、BLEU スコアは 88% を維持する。K=2 の場合、ほぼ損失のない性能（BLEU スコア1%の低下）を達成する。

ABSTRACT

Existing approaches to neural machine translation are typically autoregressive models. While these models attain state-of-the-art translation quality, they are suffering from low parallelizability and thus slow at decoding long sequences. In this paper, we propose a novel model for fast sequence generation --- the semi-autoregressive Transformer (SAT). The SAT keeps the autoregressive property in global but relieves in local and thus is able to produce multiple successive words in parallel at each time step. Experiments conducted on English-German and Chinese-English translation tasks show that the SAT achieves a good balance between translation quality and decoding speed. On WMT'14 English-German translation, the SAT achieves 5.58$ imes$ speedup while maintains 88\% translation quality, significantly better than the previous non-autoregressive methods. When produces two words at each time step, the SAT is almost lossless (only 1\% degeneration in BLEU score).

研究の動機と目的

• 逐次的生成による自己回帰的ニューラル機械翻訳モデルのデコード速度の遅さに対処すること。
• 局所的な自己回帰的制約を緩和することで、品質を損なわず並列処理を向上させること。この際、全体としての自己回帰的構造を維持すること。
• 完全に自己回帰的モデルと非自己回帰的モデルの中間の妥協点を探索し、速度と品質のバランスを取ること。
• 機械翻訳以外の分野にも適用可能な、効率的で高品質な系列生成手法を開発すること。
• 半自己回帰的設定において、長距離依存関係のモデリングを改善する知識蒸留法および学習目的関数を調査すること。

提案手法

• SAT は、各時刻ステップで K 個の連続するターゲット語を並列に生成するためのグループレベルの連鎖則を用いる。ここで K はグループサイズである。
• 将来のトークンを同じグループ内から参照できるように緩めた因果マスクを適用することで、逐次的依存性を低減する。
• 強い自己回帰的教師モデルからのシーケンスレベルの知識蒸留を活用することで、学習の安定性を高め、性能を向上させる。
• 長距離依存関係のモデリングを強化するため、特に遠く離れた位置において、位置ごとの交差エントロピーを低減するように変更された学習目的関数を採用する。
• 変換器エンコーダ・デコーダフレームワークに基づくアーキテクチャを採用し、グループ単位での生成を可能にするためにデコーダの自己自己注意およびクロス注意メカニズムを変更する。
• グループ内のすべての位置で共通のデコーダヘッドを使用することで、K 個のトークンを並列に予測しつつ、一貫性を保つ。

実験結果

リサーチクエスチョン

• RQ1 完全に自己回帰的モデルや非自己回帰的モデルと比較して、半自己回帰的生成はデコード速度と翻訳品質のバランスをより良く達成できるか？
• RQ2 局所的に自己回帰的制約を緩和することで、モデルの文脈的で正確な系列生成能力にどのような影響が生じるか？
• RQ3 シーケンスレベルの知識蒸留は、半自己回帰的モデルの性能をどの程度向上させるか？
• RQ4 グループサイズ K が系列生成における速度-精度トレードオフにどのように影響するか？
• RQ5 特に長系列において、1ステップあたり複数の単語を生成する際でも、SAT は高い文のなめらかさと低い繰り返し率を維持できるか？

主な発見

• WMT’14 英語＝ドイツ語翻訳において、SAT は標準的なトランスフォーマーと比較して 5.58 倍の高速化を達成し、BLEU スコアは 88% を維持する。
• K=2 の場合、SAT は自己回帰的トランスフォーマーと比較して BLEU スコアがたった 1% 低下するにとどまり、ほぼ損失のない性能を示す。
• 中国語＝英語翻訳において、K=2 の SAT は 1.69 倍の高速化を達成し、基準モデルの 97% の翻訳品質を維持する。
• 極端な設定（K=6、ビームサイズ=1）において、中国語＝英語翻訳で SAT は 6.41 倍の高速化を達成し、基準モデルの BLEU スコアの 83% を維持する。
• シーケンスレベルの知識蒸留は性能向上に顕著な効果を示し、特に K 値が大きい場合に学習の不安定性を低減し、出力のなめらかさを向上させる。
• 位置ごとの交差エントロピー解析から、周期 K の周期的パターンが観察され、長距離依存関係のモデリングが依然として挑戦的であり、今後の改善の重要なターゲットであることが示唆される。