[論文レビュー] Multi-Domain Neural Machine Translation with Word-Level Adaptive Layer-wise Domain Mixing

Haoming Jiang, Liang Chen+2 more|arXiv (Cornell University)|Nov 7, 2019

Natural Language Processing Techniques参考文献 38被引用数 4

ひとこと要約

本稿では、語彙レベル、適応的で層ごとのドメイン混合を用いる多ドメインニューラルマシン翻訳モデルを提案する。この手法により、ドメイン共有知識とドメイン固有知識の両方の学習が向上する。各語と層ごとに動的なドメイン比率を割り当て、ドメイン固有のマルチヘッドアテンションモジュールを重み付き平均で統合することで、複数のNMTベンチマークで最先端の性能を達成し、多ドメインおよび単一ドメイン翻訳タスクの両方で既存手法を上回る。

ABSTRACT

Many multi-domain neural machine translation (NMT) models achieve knowledge transfer by enforcing one encoder to learn shared embedding across domains. However, this design lacks adaptation to individual domains. To overcome this limitation, we propose a novel multi-domain NMT model using individual modules for each domain, on which we apply word-level, adaptive and layer-wise domain mixing. We first observe that words in a sentence are often related to multiple domains. Hence, we assume each word has a domain proportion, which indicates its domain preference. Then word representations are obtained by mixing their embedding in individual domains based on their domain proportions. We show this can be achieved by carefully designing multi-head dot-product attention modules for different domains, and eventually taking weighted averages of their parameters by word-level layer-wise domain proportions. Through this, we can achieve effective domain knowledge sharing, and capture fine-grained domain-specific knowledge as well. Our experiments show that our proposed model outperforms existing ones in several NMT tasks.

研究の動機と目的

• 既存の多ドメインNMTモデルが単一の共有エンコーダーに依存するという制限を解消すること。この制限により、個々のドメインへの適応が不十分である。
• 各語が層ごとに複数のドメイン比率を持つことで、文脈依存の細粒度なドメイン知識共有を可能にすること。
• ドメイン固有のアテンションモジュールを適応的に混合することで、ドメイン共有表現とドメイン固有表現の両方を捉えることにより、翻訳性能を向上させること。
• 語彙レベル・層ごとのドメイン混合が、標準的な統合的または埋め込みベースの多ドメインNMTアプローチを上回ることを実証すること。

提案手法

• 各ドメインに対して別々のマルチヘッドドット積分アテンションモジュールを構築し、ドメイン固有の表現学習を可能にする。
• 各語について、その文脈的ドメイン好ましさを反映するように、層ごとのドメイン比率を計算する。
• 語の表現は、その語の層ごとのドメイン比率を重みとして用いた、ドメイン固有アテンションモジュールのパラメータの重み付き平均によって生成する。
• 各語のドメイン比率は、学習可能な文脈依存ベクトルとしてモデル化され、層を跨いで変化する。
• 勾配がドメイン比率モジュールから埋め込み空間に伝搬できるように、既存のドメイン認識埋め込み技術（例：MTL、AdvL、PAdvL）と統合する。
• バックプロパゲーションを用いたエンドツーエンド学習をサポートし、ドメイン混合と翻訳タスクの共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 語彙レベル・層ごとのドメイン混合により、ドメイン間で適応的知識共有を実現することで、多ドメインNMTの性能が向上するか？
• RQ2 語と層ごとに動的にドメイン比率を割り当てることで、モデルのドメイン固有語の意味解釈能力にどのような影響を与えるか？
• RQ3 ドメイン固有アテンションモジュールは、単一の共有エンコーダーに比べて、ドメイン固有の言語的パターンをどれほど効果的に捉えられるか？
• RQ4 提案された混合機構は、既存のドメイン認識埋め込み手法と効果的に組み合わせられ、翻訳品質をさらに向上させられるか？
• RQ5 ドメイン比率はどのように層を跨いで変化するか？ これにより、ネットワーク内での知識共有と特化のメカニズムがどのように明らかになるか？

主な発見

• 提案モデルは、複数の多ドメインNMTベンチマークで最先端のBLEUスコアを達成し、統合モデルや埋め込みベースのアプローチを含む既存手法を上回った。
• 中国語→英語翻訳タスクでは、ドメイン混合とPAdvL埋め込み学習を組み合わせることで、ベースライン比でBLEUスコアが最大0.48ポイント向上した。
• デコーダーのドメイン比率はエンコーダーよりもより偏っていたため、英語→ドイツ語タスクではドメイン知識共有が弱く、性能向上が限定的だった。
• 進化するドメイン比率により語の意味解釈が向上した：同じ語（例：'article'）が文脈と層に応じて異なるドメイン（例：'laws' と 'media'）にマッピングされた。
• ドメイン比率の層を跨ぐ変化の様子から、モデルがドメイン固有表現を効果的に捉えていることが示された。語は異なる深さで明確なドメイン好ましさを示した。
• 実験により、ドメイン混合機構がドメイン認識埋め込み技術と補完的であることが確認され、両者の組み合わせによりさらなる性能向上が得られた。