[論文レビュー] Multiscale Collaborative Deep Models for Neural Machine Translation

Xiangpeng Wei, Heng Yu+4 more|arXiv (Cornell University)|Apr 29, 2020

Natural Language Processing Techniques参考文献 44被引用数 7

ひとこと要約

本論文は、ブロックスケールおよびコンテキストスケールの協調によって勾配の流れと表現学習を向上させることで、極めて深いニューラル機械翻訳（NMT）モデルを訓練するためのマルチスケール協調（Msc）フレームワークを提案する。この手法により、72層のエンコーダーが IWSLT で +2.2–3.1 BLEU の向上を達成し、WMT14 En→De で 30.56 BLEU のスコアを達成し、パrameter数が少ないにもかかわらず最先端の深層 NMT モデルを上回る性能を発揮する。

ABSTRACT

Recent evidence reveals that Neural Machine Translation (NMT) models with deeper neural networks can be more effective but are difficult to train. In this paper, we present a MultiScale Collaborative (MSC) framework to ease the training of NMT models that are substantially deeper than those used previously. We explicitly boost the gradient back-propagation from top to bottom levels by introducing a block-scale collaboration mechanism into deep NMT models. Then, instead of forcing the whole encoder stack directly learns a desired representation, we let each encoder block learns a fine-grained representation and enhance it by encoding spatial dependencies using a context-scale collaboration. We provide empirical evidence showing that the MSC nets are easy to optimize and can obtain improvements of translation quality from considerably increased depth. On IWSLT translation tasks with three translation directions, our extremely deep models (with 72-layer encoders) surpass strong baselines by +2.2~+3.1 BLEU points. In addition, our deep MSC achieves a BLEU score of 30.56 on WMT14 English-German task that significantly outperforms state-of-the-art deep NMT models.

研究の動機と目的

• 勾配消失と非常に深いアーキテクチャにおける誤差逆伝播の悪化によって引き起こされる、深層 NMT モデルの性能劣化問題に対処すること。
• 30–40 層を超える極めて深い構造であっても、性能の飽和や低下を伴わずに、NMT モデルの訓練を可能にすること。
• 各エンコーダーブロックが微細な特徴を学習し、空間的依存関係モデリングによってそれを強化できるように、表現学習を向上させること。
• デコーダーのアテンションを、局所的なエンコーダーブロック出力と複数スケールのコンテキスト表現の両方と連携させること。
• 適切に最適化されたモデルの深さが、浅いモデルに比べて翻訳品質に顕著な向上をもたらすことを示すこと。

提案手法

• 深層エンコーダースタックにおける上位層から下位層への勾配逆伝播を明示的に強化する、ブロックスケール協調メカニズムを導入する。
• 下位から上位へのネットワークを用いて空間的依存関係を符号化することで、各エンコーダーブロックの表現を強化するコンテキストスケール協調モジュールを採用する。
• デコーダーが局所的なエンコーダーブロックと空間的依存関係を持つコンテキスト表現の両方に注目する、マルチスケールアテンションメカニズムを用いる。
• 各ブロックの出力を、低レベル特徴のコンテキストに依存する集約によって強化する、残差型接続を用いる。
• 要素ごとの加算ではなく、ゲート付き特徴統合メカニズムを用いて表現を統合し、表現品質と学習安定性を向上させる。
• 事前に正規化された残差接続と層正規化を適用し、深層アーキテクチャにおける学習を安定化させる。これは先行研究と整合するが、マルチスケール協調フレームワーク内に統合されている。

実験結果

リサーチクエスチョン

• RQ1 72層の極めて深い NMT モデル（例：72層エンコーダー）は、性能劣化を伴わず効果的に訓練可能か？
• RQ2 エンコーダーブロック間のマルチスケール協調を導入することで、深層 NMT モデルにおける勾配の流れと表現学習が向上するか？
• RQ3 提案された Msc フレームワークは、パrameter数が少ないにもかかわらず、強力なベースラインや先行の深層 NMT モデルを上回る翻訳品質を達成できるか？
• RQ4 コンテキスト表現と局所表現の統合は、深層 NMT モデルの性能にどのように影響するか？
• RQ5 深さの向上がモデル容量によるものか、それとも最適化を可能にするアーキテクチャ設計によるものか？

主な発見

• Msc フレームワークにより、72層の NMT エンコーダーの効果的な訓練が可能となり、WMT14 英語→ドイツ語翻訳タスクで 30.56 BLEU のスコアを達成し、最先端の深層 NMT モデルを上回った。
• IWSLT 翻訳タスク（3つの言語対）において、深層 Msc モデルは強力なベースラインに対して +2.2 から +3.1 BLEU の向上を達成した。
• アブレーションスタディの結果、コンテキスト協調を除去するか Cxt-Enc アテンションを削除すると、BLEU が約 0.7 ポints 減少し、マルチスケール協調の重要性が確認された。
• コンテキスト協調セルを単純なフィードフォワードネットワーク（FFN）に置き換えると性能が 0.5 BLEU 減少し、設計されたモジュールの必要性が示された。
• 同じまたは2倍のパrameter数であっても、浅い Msc モデル（18 または 36 層）は 72 層モデルに劣り、深さが向上の主因であることが証明された。
• 要素ごとの加算による特徴統合を採用したモデルは 29.45 BLEU を達成し、最良の結果より低かったため、ゲート付き統合メカニズムが性能に不可欠であることが示された。