[論文レビュー] Variational Recurrent Neural Machine Translation

Jinsong Su, Shan Wu+4 more|arXiv (Cornell University)|Jan 16, 2018

Natural Language Processing Techniques参考文献 27被引用数 11

ひとこと要約

本稿では、翻訳中にターゲット語の間の複雑な依存関係を捉えるために、連続的な隠れ潜在変数の系列を導入する新しいNMTモデル、Variational Recurrent Neural Machine Translation (VRNMT)を提案する。これらの変数をデコーダーの隠れ状態に統合し、再パラメータライゼーションを用いた変分推論フレームワークを採用することで、中国語-英語および英語-ドイツ語翻訳タスクにおいて、従来のNMTおよび変分NMTよりも顕著なBLEUスコアの向上を達成した。

ABSTRACT

Partially inspired by successful applications of variational recurrent neural networks, we propose a novel variational recurrent neural machine translation (VRNMT) model in this paper. Different from the variational NMT, VRNMT introduces a series of latent random variables to model the translation procedure of a sentence in a generative way, instead of a single latent variable. Specifically, the latent random variables are included into the hidden states of the NMT decoder with elements from the variational autoencoder. In this way, these variables are recurrently generated, which enables them to further capture strong and complex dependencies among the output translations at different timesteps. In order to deal with the challenges in performing efficient posterior inference and large-scale training during the incorporation of latent variables, we build a neural posterior approximator, and equip it with a reparameterization technique to estimate the variational lower bound. Experiments on Chinese-English and English-German translation tasks demonstrate that the proposed model achieves significant improvements over both the conventional and variational NMT models.

研究の動機と目的

• 翻訳中に隣接するターゲット語の間の強い、複雑な依存関係をモデル化する点で、従来のNMTおよび変分NMTの限界を解消すること。
• ニューラル機械翻訳における階層的かつ順序的な意味的構造を捉えるために、連続的潜在変数の潜在的効果を調査すること。
• 変分推論と連続的モデリングの長所を組み合わせた、エンドツーエンドで学習可能なNMTフレームワークを構築すること。
• 潜在変数をシーケンストゥシーケンスモデルに組み込む際の、事後分布推論の非可解性と大規模学習の課題を克服すること。

提案手法

• 連続的な潜在確率的変数 {z₁, z₂, ..., z_Ty} の系列を導入し、それらを再帰的に生成してデコーダーの隠れ状態に統合することで、文脈的依存関係をモデル化する。
• 各タイムステップで潜在変数 z_j を統合することで、条件付き翻訳確率 p(y|x) を時間ステップごとの積に分解し、動的意味的文脈を捉える。
• 観測されたソースおよびターゲットシーケンスを用いて、潜在変数の非可解な事後分布を推定するためのニューラル事後近似器 qφ(z_j|x, y≤j) を採用する。
• 再パラメータライゼーショントリックを用いることで、潜在変数を介した微分可能で確率的なバックプロパゲーションを可能にし、確率的勾配降下法によるエンドツーエンド学習を実現する。
• 最適化のための変分下界（ELBO）を用い、事前分布 pθ(z_j|x, y<j) と事後分布 qφ(z_j|x, y≤j) の両方を深層ニューラルネットワークでモデル化する。
• 変分再帰ニューラルネットワーク（VRNN）フレームワークをシーケンストゥシーケンス翻訳に適応させ、VAEのパラダイムをNMTに拡張する。

実験結果

リサーチクエスチョン

• RQ1 連続的潜在変数の系列は、ニューラル機械翻訳における隣接ターゲット語間の複雑な依存関係のモデリングを向上させ得るか？
• RQ2 再パラメータライゼーションを用いた変分推論は、NMTにおける潜在変数を有するシーケンストゥシーケンスモデルに効果的に適用可能か？
• RQ3 潜在空間に再帰的構造を組み込むことで、単一のグローバル潜在変数よりも性能が向上するか？
• RQ4 提案されたモデルは、エンドツーエンドの微分可能性と大規模学習へのスケーラビリティを維持しながら、最先端の性能を達成できるか？

主な発見

• 中国語-英語翻訳タスクにおいて、VRNMTは30.1のBLEUスコアを達成し、従来のNMTモデルを5.39 BLEUポイント上回った。
• 英語-ドイツ語翻訳タスクでは、VRNMTは28.7のBLEUスコアを達成し、従来のNMTモデルを1.05 BLEUポイント上回った。
• 中国語-英語翻訳では変分NMT（VNMT）を0.44 BLEUポイント、英語-ドイツ語翻訳では0.59 BLEUポイント上回った。
• 最近の複数の最先端NMTシステムと比較して、競争力のある性能を示し、本モデルの有効性と一般化能力を示している。
• アブレーションスタディの結果、静的または単一の潜在変数アプローチに比べ、潜在変数の再帰的構造が翻訳品質を顕著に向上させた。
• 本モデルは、既存のNMTアーキテクチャと直交的であるため、他の最先端技術と組み合わせることでさらなる性能向上が期待できる。