[論文レビュー] The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation

Mia Xu Chen, Orhan Fırat+10 more|arXiv (Cornell University)|Apr 25, 2018

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文では、Transformer や ConvS2S といった現代的なアーキテクチャから取り入れた高度な訓練技術——例えば、マルチヘッドアテンション、レイヤーナーミャライゼーション、ラベルスムージング——を組み合わせた、RNNベースのニューラル機械翻訳モデル RNMT+ を紹介している。スタックド双方向LSTMエンコーダーと単方向LSTMデコーダーにこれらの技術を適用することで、RNMT+ は WMT’14 英語→フランス語および英語→ドイツ語のベンチマークで、すべての個別アーキテクチャを上回り、それぞれ 41.00 BLEU および 28.49 BLEU のスコアを達成した。さらに、RNMT+ デコーダーとトランスフォーマー風エンコーダーを組み合わせたハイブリッドモデルは、41.67 および 28.84 BLEU という、最新の最先端性能を達成した。

ABSTRACT

The past year has witnessed rapid advances in sequence-to-sequence (seq2seq) modeling for Machine Translation (MT). The classic RNN-based approaches to MT were first out-performed by the convolutional seq2seq model, which was then out-performed by the more recent Transformer model. Each of these new approaches consists of a fundamental architecture accompanied by a set of modeling and training techniques that are in principle applicable to other seq2seq architectures. In this paper, we tease apart the new architectures and their accompanying techniques in two ways. First, we identify several key modeling and training techniques, and apply them to the RNN architecture, yielding a new RNMT+ model that outperforms all of the three fundamental architectures on the benchmark WMT'14 English to French and English to German tasks. Second, we analyze the properties of each fundamental seq2seq architecture and devise new hybrid architectures intended to combine their strengths. Our hybrid models obtain further improvements, outperforming the RNMT+ model on both benchmark datasets.

研究の動機と目的

• 最近の訓練およびモデリング技術——例えば、ラベルスムージング、マルチヘッドアテンション、レイヤーナーミャライゼーション——が系列変換モデルに与える影響を分離して評価すること。
• これらの技術を適用することで、標準的な RNN ベースの NMT（RNMT）の性能を向上させ、新しいモデルである RNMT+ を得ること。
• RNMT+、トランスフォーマー、ConvS2S の各コンponents を組み合わせたハイブリッドアーキテクチャを検討し、それぞれの強みを活かすこと。
• 同じフレームワークで、同一のデータ前処理と後処理なしにすべてのモデルを訓練することで、公平な比較を保証すること。
• 自己注意機構や残差接続といったアーキテクチャ的要素が、異なるモデルタイプ間で効果的に移行可能かどうかを調査すること。

提案手法

• 著者たちは、トランスフォーマーおよび ConvS2S モデルから得た重要な技術——具体的には、マルチヘッドアテンション、レイヤーナーミャライゼーション、ラベルスムージング、同期的レプリカ訓練——を、標準的な RNMT アーキテクチャに適用した。
• スタックド双方向LSTMエンコーダー、単方向LSTMデコーダー、およびマルチヘッドアテンションとレイヤーナーミャライゼーションの追加を特徴とする、改良型 RNMT モデル RNMT+ を提案した。
• 2種類のハイブリッドエンコーダー構造を設計した：事前に訓練された RNMT+ エンコーダーにその後に微調整されたトランスフォーマー層をスタックする「カスケード型エンコーダー」と、別々の RNMT+ およびトランスフォーマー エンコーダーの出力を連結する「マルチカラム型エンコーダー」。
• ハイブリッドモデルでは、アブレーションスタディでトランスフォーマー デコーダーを上回ったことから、すべての実験で RNMT+ デコーダーが使用された。
• すべてのモデルは、WMT’14 英語→フランス語および英語→ドイツ語データセットを用いて、同一の条件で訓練・評価され、後処理は一切適用されなかった。
• 性能は BLEU スコアで測定され、各技術の貢献度を分離するためにアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 ラベルスムージング やレイヤーナーミャライゼーションといった最近の訓練技術は、RNN ベースの NMT モデルの性能にどの程度向上効果をもたらすのか？
• RQ2 トランスフォーマーおよび ConvS2S モデルからのアーキテクチャ的革新を取り入れることで、標準的な RNMT の性能を著しく向上させられるか？
• RQ3 RNMT+ とトランスフォーマーのコンponents を組み合わせたハイブリッドアーキテクチャは、個々のコンponents よりも優れた翻訳品質を達成できるか？
• RQ4 RNMT+ デコーダーと組み合わせた場合、カスケード型とマルチカラム型のどちらのエンコーダー構成が最高の性能を発揮するか？
• RQ5 異なるアーキテクチャの相対的強み（例：RNN による逐次的モデリング vs. 自己注意機構による長距離依存関係の扱い）が、ハイブリッド構成においてどのように現れるか？

主な発見

• マルチヘッドアテンション、レイヤーナーミャライゼーション、その他の訓練技術をスタックド双方向LSTMアーキテクチャに統合した RNMT+ モデルは、WMT’14 英語→フランス語で 41.00 BLEU、英語→ドイツ語で 28.49 BLEU を達成し、元の RNMT およびトランスフォーマーと ConvS2S のベースラインをすべて上回った。
• 事前に訓練された RNMT+ エンコーダーに微調整されたトランスフォーマー層をスタックするカスケード型エンコーダーは、英語→フランス語タスクで 0.5 以上の BLEU ポイントの向上を達成し、41.67 BLEU に到達した。
• 別々の RNMT+ およびトランスフォーマー エンコーダーの出力を連結するマルチカラム型エンコーダーは、英語→フランス語で 41.66 BLEU、英語→ドイツ語で 28.84 BLEU を達成し、両ベンチマークで新たな最先端性能を樹立した。
• アブレーションスタディで、RNMT+ デコーダーがトランスフォーマー デコーダーを常に上回ったことから、デコーダーのアーキテクチャが性能に決定的な役割を果たしていることが示された、たとえ強力なエンコーダーと組み合わせても。
• アブレーションスタディにより、ラベルスムージング、レイヤーナーミャライゼーション、同期的訓練といった技術が、すべてのアーキテクチャにおいて顕著に性能向上に寄与することが確認された。
• ハイブリッドモデルは、トランスフォーマー由来の自己注意の表現力と RNMT+ 由来の逐次的モデリングの強みを組み合わせることで、単体モデルよりも優れた翻訳品質を実現していることを示した。