[論文レビュー] Variational Neural Machine Translation

Biao Zhang, Deyi Xiong+3 more|arXiv (Cornell University)|May 25, 2016

Natural Language Processing Techniques参考文献 17被引用数 33

ひとこと要約

本稿では、変分オートエンコーダーの枠組みを用いて、元の文と翻訳文のペair間の潜在的意味構造を明示的にモデル化するための連続的潜在変数を導入した、変分的ニューラル機械翻訳（VNMT）を提案する。再パラメータライゼーションを用いたニューラル後方分布近似により、変分推論を効率的に行い、標準的なアテンションベースのNMTに比べて翻訳品質を向上させ、特に長文において顕著な向上を達成している。中国語-英語および英語-ドイツ語のベンチマークでも顕著な性能向上を示した。

ABSTRACT

Models of neural machine translation are often from a discriminative family of encoderdecoders that learn a conditional distribution of a target sentence given a source sentence. In this paper, we propose a variational model to learn this conditional distribution for neural machine translation: a variational encoderdecoder model that can be trained end-to-end. Different from the vanilla encoder-decoder model that generates target translations from hidden representations of source sentences alone, the variational model introduces a continuous latent variable to explicitly model underlying semantics of source sentences and to guide the generation of target translations. In order to perform efficient posterior inference and large-scale training, we build a neural posterior approximator conditioned on both the source and the target sides, and equip it with a reparameterization technique to estimate the variational lower bound. Experiments on both Chinese-English and English- German translation tasks show that the proposed variational neural machine translation achieves significant improvements over the vanilla neural machine translation baselines.

研究の動機と目的

• アテンションベースのニューラル機械翻訳の限界を是正すること。特に、意味的アライメントを暗黙的に行い、長文では失敗しやすい点に起因する。
• 連続的潜在変数を用いて、二国語文ペアの潜在的意味空間を明示的にモデル化すること。
• 変分推論とニューラルシーケンスモデリングを統合した、微分可能でエンドツーエンドで学習可能なモデルを開発すること。
• 潜在変数による正則化効果を統合することで、翻訳のロバスト性と性能を向上させること。

提案手法

• 元の文と翻訳文間の共有される意味的コンテンツを潜在変数 z でモデル化する、変分オートエンコーダー風のフレームワークを導入する。
• 真の後方分布 p(z|x,y) が計算不能であるため、元の文 x と翻訳文 y の両方に条件付けられたニューラル変分後方分布 qϕ(z|x,y) を用いて、それを近似する。
• 潜在変数を介したバックプロパゲーションを可能にするために、再パラメータライゼーショントリックを採用し、確率的勾配降下法によるエンドツーエンド学習を可能にする。
• 事前分布 pθ(z|x) を元の文 x のみの関数としてモデル化し、グローバルな意味的構造を捉える。
• 潜在変数 z を元の文表現と組み合わせ、pθ(y|z,x) を用いてターゲット文を生成する。
• 標準的な確率的勾配法を用いて、変分下界（ELBO）を最適化することで、大規模データセットでも効率的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 連続的潜在変数を導入することで、ニューラル機械翻訳における潜在的意味構造のモデリングが向上するか？
• RQ2 再パラメータライゼーションを用いた変分推論フレームワークは、標準的なアテンションベースのNMTに比べて翻訳品質にどのように影響するか？
• RQ3 潜在変数は一般化性能を向上させる正則化効果を提供するのか。特に長文や複雑な文において顕著か？
• RQ4 提案されたモデルは、エンドツーエンドで学習可能であり、大規模データセットにおいても効率的かつスケーラブルか？

主な発見

• VNMTは、中国語-英語および英語-ドイツ語の翻訳タスクにおいて、ヴァニラNMTベースラインに比べ顕著な向上を達成した。
• 特に、アテンション機構が誤ったアライメントを生じやすく、性能が低下する長文において顕著な向上を示した。
• 潜在変数は、アテンションに依存するのを減らすグローバル意味的シグナルとして機能し、意味的アライメントの補完的役割を果たした。
• 再パラメータライズド学習により、変分下界の有効な最適化が可能となり、モデルのスケーラビリティとエンドツーエンドでの学習性が確保された。
• 潜在変数に起因する正則化効果により、一般化性能とロバスト性が向上し、特に複雑な文において顕著な改善が得られた。