[論文レビュー] Exploiting Deep Representations for Neural Machine Translation

Zi-Yi Dou, Zhaopeng Tu+3 more|arXiv (Cornell University)|Oct 24, 2018

Natural Language Processing Techniques参考文献 30被引用数 24

ひとこと要約

本論文では、階層的レイヤー集約とマルチレイヤー注意力を用いて、すべてのエンコーダーおよびデコーダー層にわたる深い表現を活用することでニューラル機械翻訳を向上させる手法を提案する。さらに、各レイヤーが異なる情報を捉えるよう促す多様性正則化損失を組み合わせる。実験の結果、WMT14 En→DeおよびWMT17 Zh→Enにおいて、Transformerよりそれぞれ+0.54および+0.63 BLEUの向上を達成し、より小さなモデルがより大きなベースラインを上回る性能を発揮した。

ABSTRACT

Advanced neural machine translation (NMT) models generally implement encoder and decoder as multiple layers, which allows systems to model complex functions and capture complicated linguistic structures. However, only the top layers of encoder and decoder are leveraged in the subsequent process, which misses the opportunity to exploit the useful information embedded in other layers. In this work, we propose to simultaneously expose all of these signals with layer aggregation and multi-layer attention mechanisms. In addition, we introduce an auxiliary regularization term to encourage different layers to capture diverse information. Experimental results on widely-used WMT14 English-German and WMT17 Chinese-English translation data demonstrate the effectiveness and universality of the proposed approach.

研究の動機と目的

• 深層NMTモデルにおける中間レイヤー表現の未利用問題に取り組むこと。通常、これらのモデルは最終レイヤー出力のみを用いる。
• 最終レイヤーに限らず、すべてのエンコーダーおよびデコーダー層にわたる情報を統合することで翻訳性能を向上させること。
• 補助的な正則化項を用いて、各レイヤーが多様で重複のない特徴を学習するよう促すこと。
• 本手法の有効性と一般化可能性を、異なる言語対およびモデルアーキテクチャにおいて検証すること。

提案手法

• すべてのレイヤーから同じ位置の隠れ状態を組み合わせることで、豊富な表現を形成する階層的レイヤー集約を導入する。
• 異なる位置およびレイヤーにわたる情報統合を可能にするマルチレイヤー注意力を実装し、文脈モデリングを強化する。
• レイヤー間の特徴類似度をペナルティ化する多様性正則化項を提案し、異なる情報を捉えるよう促進する。
• Transformerアーキテクチャに本手法を適用し、エンコーダーおよびデコーダースタックの両方を変更してすべてのレイヤー出力を露出させる。
• 訓練の安定性を保つために、元のTransformerと同様に残差接続とレイヤー正則化を用いる。
• 標準的な交差エントロピー損失に加え、追加の多様性正則化を用いてモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 すべてのエンコーダーおよびデコーダー層からの表現を統合することで、ニューラル機械翻訳の性能向上が達成できるか？
• RQ2 異なる位置およびレイヤーにわたる情報を統合するマルチレイヤー注意力は、翻訳品質の向上に寄与するか？
• RQ3 レイヤー間の多様性を促す正則化項は、深層表現の有効利用を向上させられるか？
• RQ4 提案手法は、異なる言語対およびモデルアーキテクチャに一般化可能か？

主な発見

• 提案手法は、WMT14の英語→ドイツ語翻訳タスクにおいて、アンサンブルなしのTransformerより+0.54 BLEUポイントの向上を達成した。
• WMT17の中英翻訳タスクでは、ベースラインより+0.63 BLEUポイントの性能向上を達成した。
• 深層表現の活用を施したより小さなTransformer-Baseモデルが、パラメータ数が多くより大きなvanilla Transformer-Bigモデルを上回った。
• 可視化の結果、モデルが集約プロセスにおいて下位レイヤーを効果的に活用していることが確認され、効果的なクロスレイヤー統合が実現していることが示された。
• 多様性正則化により、すべてのレイヤーからの寄与がよりバランスよくなり、上位レイヤーの優位性が軽減された。