[論文レビュー] Conditional Variational Autoencoder for Neural Machine Translation

Artidoro Pagnoni, Kevin Liu+1 more|arXiv (Cornell University)|Dec 11, 2018

Natural Language Processing Techniques参考文献 12被引用数 42

ひとこと要約

本研究は共注意ベースの推論ネットワークを用いた条件付き変分オートエンコーダを導入し、NMTを拡張する。識別的ベースラインおよびVNMTベースラインよりBLEUを改善し、後方崩壊の緩和と潜在空間の挙動を調査する。

ABSTRACT

We explore the performance of latent variable models for conditional text generation in the context of neural machine translation (NMT). Similar to Zhang et al., we augment the encoder-decoder NMT paradigm by introducing a continuous latent variable to model features of the translation process. We extend this model with a co-attention mechanism motivated by Parikh et al. in the inference network. Compared to the vision domain, latent variable models for text face additional challenges due to the discrete nature of language, namely posterior collapse. We experiment with different approaches to mitigate this issue. We show that our conditional variational model improves upon both discriminative attention-based translation and the variational baseline presented in Zhang et al. Finally, we present some exploration of the learned latent space to illustrate what the latent variable is capable of capturing. This is the first reported conditional variational model for text that meaningfully utilizes the latent variable without weakening the translation model.

研究の動機と目的

• 注意ベースのエンコーダだけでは捉えきれない翻訳の全体特徴を潜在変数モデルに促す。
• 共注意推論ネットワークを用いた条件付きテキスト生成のCVAEをNMTへ拡張する。
• テキストVAEsにおける後方崩壊を緩和する戦略を評価し、潜在空間の品質を評価する。

提案手法

• 共有 embedding とRNNを用いたエンコーダ-デコーダ型NMTを使用する。
• ソースとターゲット間の共注意に基づく相互作用を用いて、ニューラル事前分布 p(z|x) とニューラル事後分布 q(z|x,y) を導入する。
• Bahdanau風デコーダ内で x, z および注意に導かれた文脈を条件としてデコードする。
• ELBO目的とKLウォームアップ（α）を用いて後方崩壊を制御する。
• IWSLT 2016のドイツ語-英語データで、注意付きのVanilla Seq2Seq、VNMT、共注意付きCVAEを比較する。

実験結果

リサーチクエスチョン

• RQ1 共注意を用いたCVAEは、注意ベースのベースラインおよび VNMT より NMT の翻訳品質を改善するか？
• RQ2 共注意は後方分布 q(z|x,y) の表現力にどのように影響するか？
• RQ3 翻訳品質を損なうことなく、条件付きテキストVAEsにおける後方崩壊を最も効果的に緩和する戦略は何か？
• RQ4 学習された潜在空間は翻訳スタイルと変動性について何を捉えているか？

主な発見

• 共注意付きCVAEは、注意付きのベース Seq2Seq および VNMT ベースラインの両方よりドイツ語-英語翻訳でBLEUを改善した。
• 共注意後方は VNMT より reconstruction error を低くし、より表現力のある近似後方を示す。
• KLウォームアップとKL係数戦略は後方崩壊を緩和しつつBLEUを維持または向上させる。
• 潜在空間の探索は多様で一貫した翻訳と滑らかな補間を示し、意味のある潜在表現を示唆する。
• 共注意を介してソース-ターゲットの相互作用に後方を明示的に条件付けることで、翻訳特有の潜在情報が強化される。