[論文レビュー] Unsupervised Neural Machine Translation with Weight Sharing

Zhen Yang, Wei Chen+2 more|arXiv (Cornell University)|Apr 24, 2018

Natural Language Processing Techniques参考文献 24被引用数 14

ひとこと要約

本稿では、言語固有の特徴を保持しつつ、多言語間のアライメントを可能にするために、共有された高レベル重みを有する2つの独立したエンコーダーを用いる、新しい教師なしニューラル機械翻訳モデルを提案する。重み共有制約、埋め込み強化エンコーダー、および二重GAN（局所的およびグローバル）を統合することで、英語＝ドイツ語、英語＝フランス語、中国語＝英語翻訳タスクにおいて、先行する教師なし手法よりも最大+1.92のBLEUスコア向上を達成した。

ABSTRACT

Unsupervised neural machine translation (NMT) is a recently proposed approach for machine translation which aims to train the model without using any labeled data. The models proposed for unsupervised NMT often use only one shared encoder to map the pairs of sentences from different languages to a shared-latent space, which is weak in keeping the unique and internal characteristics of each language, such as the style, terminology, and sentence structure. To address this issue, we introduce an extension by utilizing two independent encoders but sharing some partial weights which are responsible for extracting high-level representations of the input sentences. Besides, two different generative adversarial networks (GANs), namely the local GAN and global GAN, are proposed to enhance the cross-language translation. With this new approach, we achieve significant improvements on English-German, English-French and Chinese-to-English translation tasks.

研究の動機と目的

• 翻訳のスタイル、用語、文法といった言語固有の特徴を保持できないという、教師なしNMTにおける共有エンコーダーの限界を解消すること。
• 並列モノリンガルデータが存在しない状況でも、高レベルのエンコーダーおよびデコーダー層に重み共有制約を導入することで、多言語間のアライメントを向上させること。
• 局所的GAN（潜在表現のアライメントを促進）とグローバルGAN（分布マッチングによる生成品質の向上）の2つの新規GANを導入し、翻訳品質を向上させること。
• 自己注意機構における時系列順序モデリングの役割が、教師なしNMTに与える影響を調査すること。
• 独立したエンコーダーに選択的重み共有を適用したアーキテクチャが、ゼロショット翻訳設定において単一エンコーダーベースラインを上回ることを実証すること。

提案手法

• 各言語のモノリンガル文を別々に処理する2つの独立エンコーダーを採用し、最終層に重み共有を適用することで、高レベルの意味的アライメントを強制する。
• 初期層を共有する2つの独立デコーダーを用い、自己符号化により入力文を再構築することで、言語固有の生成パターンを保持する。
• 事前学習済み単語埋め込みでエンコーダーを初期化することで、埋め込み強化エンコーダーを実装し、意味表現の強化を図る。
• ソース言語とターゲット言語の潜在表現を区別する局所的GANを導入し、エンコーダーが識別不能な表現を生成するよう促進する。
• 生成文の現実性を、実際のモノリンガルデータと比較して評価するグローバルGANを導入し、敵対的訓練により生成品質を向上させる。
• 順方向および逆方向の自己注意を組み合わせた方向性自己注意を導入し、順序依存性をより効果的にモデル化することで、注意機構における文脈モデリングを強化する。

実験結果

リサーチクエスチョン

• RQ1 教師なしNMTにおいて、単一の共有エンコーダーと比較して、選択的重み共有を施した独立エンコーダーは、言語固有の特徴をより効果的に保持できるか？
• RQ2 並列データが存在しない状況でも、局所的およびグローバルGANは、多言語間アライメントおよび生成品質の向上にどの程度効果的か？
• RQ3 方向性自己注意による時系列順序モデリングは、教師なし設定における翻訳性能をどの程度向上させるか？
• RQ4 重み共有、GAN、埋め込み強化、方向性注意の各コンポーネントが、最終的なBLEUスコアにどの程度寄与しているか？
• RQ5 提案手法は、Lample et al. (2017) などの既存の教師なしNMTベースラインを、複数の言語対において顕著に上回ることができるか？

主な発見

• 英語＝ドイツ語翻訳タスクにおいて、提案モデルは15.58のBLEUスコアを達成し、Lample et al. (2017) に対して+1.92の向上を示した。
• 英語＝フランス語翻訳タスクでは、16.97のBLEUスコアを達成し、ベースラインより+1.37向上、Lample et al. (2017) よりも+1.92向上した。
• アブレーションスタディの結果、重み共有が最も重要なコンポーネントであることが確認され、方向性自己注意を除去すると最大-0.3のBLEUスコア低下が生じた。
• 局所的GANとグローバルGANの両方が顕著な貢献を示し、英語＝フランス語タスクでは局所的GANが最大+0.57 BLEU、グローバルGANが最大+0.78 BLEUの向上をもたらした。
• 埋め込み強化エンコーダーは、すべてのタスクで一貫した貢献を示し、初期の意味表現強化の価値を示した。
• すべてのコンポーネントを統合した完全なモデルが最高の性能を示し、統合アーキテクチャによる相乗効果が裏付けられた。