[論文レビュー] Generative Neural Machine Translation

Harshil Shah, David Barber|arXiv (Cornell University)|Jun 13, 2018

Natural Language Processing Techniques参考文献 16被引用数 22

ひとこと要約

本稿では、言語に依存しない意味表現（z）を介して元語文と対象語文を同時にモデル化する潜在変数モデルである生成的ニューラル機械翻訳（GNMT）を提案する。これにより、欠損語の存在下でも翻訳のロバスト性が向上し、パラメータ数の増加なしに多言語翻訳および半教師あり学習が可能になる。GNMTは、未学習の言語対において最先端のBLEUスコアを達成し、長文翻訳および不完全入力翻訳タスクでもベースラインを上回る性能を示す。

ABSTRACT

We introduce Generative Neural Machine Translation (GNMT), a latent variable architecture which is designed to model the semantics of the source and target sentences. We modify an encoder-decoder translation model by adding a latent variable as a language agnostic representation which is encouraged to learn the meaning of the sentence. GNMT achieves competitive BLEU scores on pure translation tasks, and is superior when there are missing words in the source sentence. We augment the model to facilitate multilingual translation and semi-supervised learning without adding parameters. This framework significantly reduces overfitting when there is limited paired data available, and is effective for translating between pairs of languages not seen during training.

研究の動機と目的

• 文の意味を明示的に分離され、言語に依存しない意味表現として学習するニューラル機械翻訳モデルの開発。
• 潜在的意味表現を活用することで、元語文に欠損語が存在する場合の翻訳のロバスト性を向上させること。
• パラメータ数の増加なしに、単語彙データを用いた多言語翻訳および半教師あり学習を可能にすること。
• カテゴリカルな言語インジケータを用いて言語間でパラメータを共有することで、低リソース環境における過学習を低減すること。
• 共通の潜在変数を介して元語文と対象語文の同時分布をモデル化することにより、条件付きモデルよりも優れた意味一般化が達成されるかどうかの評価。

提案手法

• GNMTは、$ p_{\theta}(\mathbf{x}, \mathbf{y}, \mathbf{z}) = p(\mathbf{z}) p_{\theta}(\mathbf{x}|\mathbf{z}) p_{\theta}(\mathbf{y}|\mathbf{x}, \mathbf{z}) $ で同時確率をモデル化する。ここで $ \mathbf{z} $ はガウス事前分布 $ \mathcal{N}(\mathbf{0}, \mathbf{I}) $ をとる共通の意味表現である。
• 元語文 $ \mathbf{x} $ は、$ \mathbf{z} $ と以前の単語に条件づけられたLSTMを用いて自己回帰的に生成され、隠れ状態は $ \mathbf{h}^{x}_{t} = \mathrm{LSTM}(\mathbf{h}^{x}_{t-1}, \mathbf{z}, \mathbf{e}(x_{t-1})) $ で計算される。
• 対象語文 $ \mathbf{y} $ は、$ \mathbf{x} $ の双方向エンコーダ状態に注目を向けるアテンション付きLSTMデコーダを用いて生成され、コンテキストベクトルはエンコーダ状態に対するソフトアテンションによって計算される。
• 多言語翻訳を可能にするために、元語と対象語の言語を示す2つのカテゴリカル変数を追加し、言語対間でパラメータを共有できるようにする。
• 半教師あり学習のため、元語と対象語の言語を同じ値に設定することで、モノリンガルデータを活用し、訓練中にペアでないモノリンガル文を活用できる。
• 訓練は確率的変分ベイズ推論を用い、同時分布の対数尤度の変分下界を最大化することで行われる。

実験結果

リサーチクエスチョン

• RQ1 共通の言語に依存しない潜在変数 $ \mathbf{z} $ は、複数の言語にまたがる文の意味を効果的に表現できるか？
• RQ2 共通の潜在変数を介して同時分布 $ p(\mathbf{x}, \mathbf{y}) $ をモデル化することで、条件付きモデル $ p(\mathbf{y}|\mathbf{x}) $ よりも一般化性能が向上するか、特にデータが不足する状況下で？
• RQ3 元語文が不完全または欠損語を含む場合、潜在表現 $ \mathbf{z} $ は翻訳のロバスト性を向上させられるか？
• RQ4 カテゴリカルな言語インジケータを用いた言語間のパラメータ共有により、過学習が軽減され、未学習の言語対へのゼロショット翻訳性能が向上するか？
• RQ5 モノリンガルデータを半教師あり学習の形で効果的に活用することで、低リソース翻訳タスクの性能がさらに向上するか？

主な発見

• GNMTは、WMT'14英語→ドイツ語翻訳タスクで33.23のBLEUスコアを達成し、ベースラインのVNMTモデル（26.99 BLEU）を上回り、長文翻訳においても優れた性能を示した。
• 元語文に欠損語が存在する状況では、GNMTがVNMTよりも顕著に正確な翻訳を生成した。特に、GNMTが欠損内容を正しく推定する事例が定性的に確認された。
• GNMT-Multi（言語間でパラメータを共有）は、未学習の英語→スペイン語翻訳で36.72のBLEUスコアを達成し、VNMT（35.58）および標準GNMT（35.35）を上回った。
• GNMT-Multi-SSL（モノリンガルデータを活用）は、未学習の英語→スペイン語翻訳で38.80のBLEUスコアを達成し、他のすべてのモデルを顕著に上回り、半教師あり学習の有効性を示した。
• アブレーションスタディの結果、モデルは潜在変数 $ \mathbf{z} $ に強く依存しており、$ \mathbf{z} $ を除去すると性能が著しく低下することが判明し、$ \mathbf{z} $ が意味表現において中心的な役割を果たしていることが確認された。
• 代替的な因子分解 $ p(\mathbf{x}, \mathbf{y}, \mathbf{z}) = p(\mathbf{z}) p_{\theta}(\mathbf{x}|\mathbf{z}) p_{\theta}(\mathbf{y}|\mathbf{z}) $ は文法的に整合性のない翻訳を生成したため、$ \mathbf{y} $ を $ \mathbf{x} $ に条件づけることが一貫性を保つために不可欠であることが示された。