[論文レビュー] Very Deep Transformers for Neural Machine Translation

Xiaodong Liu, Kevin Duh+2 more|arXiv (Cornell University)|Aug 18, 2020

Natural Language Processing Techniques参考文献 35被引用数 71

ひとこと要約

この論文は、標準的な Transformer を ADMIN 初期化を用いて非常に深く訓練できることを示し、最大60層のエンコーダと12層のデコーダ、BLEU 2.5の利得、WMT’14 EN-FR および EN-DE でバック翻訳の有無に関わらず新しい最先端を達成。

ABSTRACT

We explore the application of very deep Transformer models for Neural Machine Translation (NMT). Using a simple yet effective initialization technique that stabilizes training, we show that it is feasible to build standard Transformer-based models with up to 60 encoder layers and 12 decoder layers. These deep models outperform their baseline 6-layer counterparts by as much as 2.5 BLEU, and achieve new state-of-the-art benchmark results on WMT14 English-French (43.8 BLEU and 46.4 BLEU with back-translation) and WMT14 English-German (30.1 BLEU).The code and trained models will be publicly available at: https://github.com/namisan/exdeep-nmt.

研究の動機と目的

• より深い Transformer アーキテクチャが NMT の性能を向上させるかを調査する。
• アーキテクチャの変更なしに非常に深いモデルを可能にする安定した訓練初期化を開発する。
• 標準の WMT’14 EN-FR および EN-DE ベンチマークにおける深さ効果を評価する（バック翻訳あり/なし）。
• 再現可能な結果を提供し、さらなる研究を促進するためにコード/モデルを公開する。

提案手法

• 深い Transformer ブロックにおいて残差と前向きフィードフォワード経路をバランスさせるために ADMIN 初期化を適用する。
• 層ごとの残差分散を推定し層スケーリング係数 ω_i を設定するためのプロファイリング段階を使用する。
• 単一 GPU に適した制約の下で、POST-LN Transformer アーキテクチャを最大60のエンコーダ層と12のデコーダ層で訓練する。
• BLEU、TER、METEOR 指標で深い ADMIN モデルを標準の 6L-6L ベースラインと比較する。
• エンコーダ/デコーダの深さとネットワーク幅に関するアブレーション研究を実施する。
• WMT’14 EN-FR で深いモデルを用いたバック翻訳の効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 妥当な初期化を用いて、標準的な Transformer アーキテクチャを非常に大きな深さで効果的に訓練できるか？
• RQ2 深さは言語ペア（EN-FR、EN-DE）および評価指標全体で一貫した NMT 品質の向上をもたらすか？
• RQ3 トレーニング perplexity や勾配挙動など、学習ダイナミクスにおける深さの影響は？
• RQ4 より深いモデルは低頻度語や長文の翻訳を改善するか？
• RQ5 バック翻訳データは非常に深いモデルにも、浅いモデルと同様に利益をもたらし続けるか？

主な発見

Model	Dataset	Dataset Size (param)	T↓	M↑	BLEU↑	Δ
6L-6L Default	FR	67M	42.2	60.5	41.3	-
6L-6L ADMIN	FR	67M	41.8	60.7	41.5	0.2
60L-12L Default	FR	262M	diverge	-	-	-
60L-12L ADMIN	FR	262M	40.3	62.4	43.8	2.5
6L-6L Default	DE	61M	54.4	46.6	27.6	-
6L-6L ADMIN	DE	61M	54.1	46.7	27.7	0.1
60L-12L Default	DE	256M	diverge	-	-	-
60L-12L ADMIN	DE	256M	51.8	48.3	30.1	2.5

• 60L エンコーダと 12L デコーダ (60L-12L ADMIN) は EN-FR および EN-DE で 6L-6L ベースラインを最大 2.5 BLEU 上回る。
• 60L-12L ADMIN は BLEU 43.8 (FR) および 30.1 (DE) を得て、6L-6L デフォルトより有意な改善 (p<0.05)。
• 60L-12L ADMIN も改善（例：FR TER 40.3 vs 42.2; METEOR 62.4 vs 60.5）。
• Pre-LN バリアントは訓練可能だが post-LN ADMIN 深層モデルには及ばず; 深い post-LN ADMIN モデルは両方のベンチマークで最先端を達成。
• アブレーションは、同じ総深さにおいては深いエンコーダの方がデコーダより有利であることを示す。60L-12L、48L-12L、36L-36L は最良 BLEU で統計的に同等。
• ADMIN モデルを用いたバック翻訳は EN-FR BLEU をさらに改善し、46.4 (36L-12L-768D ADMIN + BT) および 46.0 (60L-12L ADMIN + BT) を達成。