[論文レビュー] A Deep Generative Framework for Paraphrase Generation

Ankush Gupta, Arvind Agarwal+2 more|arXiv (Cornell University)|Sep 15, 2017

Topic Modeling被引用数 134

ひとこと要約

この論文は、元の文を条件にして複数のパラフレーズを生成するVAE-LSTMベースのフレームワークを提示し、MSCOCOとQuoraデータセットでベースラインを大幅に上回る強力な改善を達成した。人間による評価も提供され、パラフレーズはよく構成され、関連性が高いことを示している。

ABSTRACT

Paraphrase generation is an important problem in NLP, especially in question answering, information retrieval, information extraction, conversation systems, to name a few. In this paper, we address the problem of generating paraphrases automatically. Our proposed method is based on a combination of deep generative models (VAE) with sequence-to-sequence models (LSTM) to generate paraphrases, given an input sentence. Traditional VAEs when combined with recurrent neural networks can generate free text but they are not suitable for paraphrase generation for a given sentence. We address this problem by conditioning the both, encoder and decoder sides of VAE, on the original sentence, so that it can generate the given sentence's paraphrases. Unlike most existing models, our model is simple, modular and can generate multiple paraphrases, for a given sentence. Quantitative evaluation of the proposed method on a benchmark paraphrase dataset demonstrates its efficacy, and its performance improvement over the state-of-the-art methods by a significant margin, whereas qualitative human evaluation indicate that the generated paraphrases are well-formed, grammatically correct, and are relevant to the input sentence. Furthermore, we evaluate our method on a newly released question paraphrase dataset, and establish a new baseline for future research.

研究の動機と目的

• QA、IR、情報抽出などのNLPアプリケーションのためのパラフレーズ生成を動機づけ、解決する。
• 与えられた文に対して複数の高品質なパラフレーズを生成できる、原理的な深層生成フレームワークを開発する。
• 入力文をエンコーダとデコーダの両方に反映させる条件付けを用いて、VAEを活用・拡張する。
• 標準的なパラフレーズデータセットで最新手法を上回る改善を実証し、質問パラフレーズデータセットで新しいベースラインを確立する。

提案手法

• 元の入力文を条件とするエンコーダとデコーダの両方を持つ変分オートエンコーダ（VAE）を使用する。
• 入力文とパラフレーズ文をLSTMエンコーダで表現し、潜在変数zを介してパラフレーズ表現を生成する。
• デコーダでは、元の文表現で初期化し、各デコーディング段階でzを注入してパラフレーズ表現を再構成する。
• variational lower bound that conditions on the input sentence: L = E_{q(z|xo, xp)}[log p(xp|z, xo)] - KL(q(z|xo, xp) || p(z)).
• 教師ありバリアント（VAE-SVG および VAE-SVG-eq）を、無監視VAEベースラインおよび最先端モデルとMSCOCOおよびQuoraデータセットで比較する。

実験結果

リサーチクエスチョン

• RQ1 VAEベースのアーキテクチャを入力文に条件付けして、特定の文のパラフレーズを生成できるか。
• RQ2 conditioning および提案された VAE-LSTM デザインは、 unconditional VAE や標準の seq-to-seq モデルと比較してパラフレーズ品質を改善するか。
• RQ3 提案モデルは、一般的なパラフレーズデータ（MSCOCO）と質問パラフレーズデータ（Quora）で、自動指標と人間評価の観点でどのように性能を示すか？

主な発見

• VAE-SVG ファミリは、MSCOCO の BLEU、METEOR、TER 指標で、さまざまな設定でベースラインおよび最新手法を上回る。
• Quora データセットでは、教師ありバリアント（VAE-SVG と VAE-SVG-eq）が無監視ベースラインを有意に上回り、ビームサーチによるさらなる向上が一部の設定で見られる。
• 人間評価では、パラフレーズは大部分が関連性が高く読みやすく、真の正解の品質に近づくが、ドメイン依存のばらつき（MSCOCO キャプション）もある。
• このアプローチは、Quora の 50K/100K/150K の学習レジームで強力なベースラインを確立し、質問パラフレーズ生成において従来手法より substantial な改善を示す。
• ビームサーチと変種エンコーディング（特に VAE-SVG-eq）により、入力のバリアント類似性に基づくフィルタリングが向上し、より高品質なパラフレーズを生み出す。