[論文レビュー] Towards Diverse Paraphrase Generation Using Multi-Class Wasserstein GAN

Zhecheng An, Sicong Liu|arXiv (Cornell University)|Sep 30, 2019

Topic Modeling参考文献 20被引用数 9

ひとこと要約

本稿では、学習可能なパターン埋め込みを条件として用いる多クラス Wasserstein GAN (MC-WGAN) を用いた多様な並び替え文生成モデルを提案する。このモデルは、1つの入力文から意味的に類似したが文語的に多様な並び替え文を生成する。正例と負例の両方を用いた adversarial 訓練により、自然さと関連性が向上し、Quora および MSCOCO データセットにおける自動評価および人間評価の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Paraphrase generation is an important and challenging natural language processing (NLP) task. In this work, we propose a deep generative model to generate paraphrase with diversity. Our model is based on an encoder-decoder architecture. An additional transcoder is used to convert a sentence into its paraphrasing latent code. The transcoder takes an explicit pattern embedding variable as condition, so diverse paraphrase can be generated by sampling on the pattern embedding variable. We use a Wasserstein GAN to align the distributions of the real and generated paraphrase samples. We propose a multi-class extension to the Wasserstein GAN, which allows our generative model to learn from both positive and negative samples. The generated paraphrase distribution is forced to get closer to the positive real distribution, and be pushed away from the negative distribution in Wasserstein distance. We test our model in two datasets with both automatic metrics and human evaluation. Results show that our model can generate fluent and reliable paraphrase samples that outperform the state-of-art results, while also provides reasonable variability and diversity.

研究の動機と目的

• 人間が生成する並び替え文に見られる言語的多様性を捉えられない単一ターゲットの並び替え文モデルの限界を解消すること。
• 1つの入力文から多様で自然で意味的に正確な並び替え文を生成できる深層生成モデルの開発。
• 多クラス Wasserstein GAN の拡張を用いることで、テキスト生成における訓練安定性と分布整合性の向上。
• 生成品質の向上を図るため、正例（実際の並び替え文）と負例（まよわせ文）の両方のサンプルから学習できるようにすること。

提案手法

• モデルはエンコーダ・デコーダ構造を採用し、並び替え文生成と参照文の再構築の両方に共通のデコーダを使用する。
• トランスコーダー・ネットワークが入力文とランダムなパターン埋め込みベクトルを組み合わせ、並び替え文生成用の潜在コードにマッピングする。
• パターン埋め込みベクトルをサンプリングすることで、出力の多様性を明示的に制御可能となる。
• 生成器は、生成分布を実際の正例並び替え文と一致させるとともに、負例から遠ざける多クラス Wasserstein GAN を用いて訓練される。
• 離散トークンの微分可能なサンプリングに Gumbel-softmax を使用し、隠れ状態の一致を保証するため教師強制を適用して訓練を安定化させる。
• クリティック・ネットワークは、生成サンプルと実際の正例・負例分布間の Wasserstein 距離を評価し、安定な adversarial 訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能なパターン埋め込みを条件とする条件付き生成モデルは、多様で自然で意味的に正確な並び替え文を生成できるか？
• RQ2 訓練目的に負例を組み込むことで、生成並び替え文の品質と関連性はどのように向上するか？
• RQ3 テキスト生成において、標準的な GAN と比較して、多クラス WGAN フレームワークは分布整合性と訓練安定性をどの程度向上させるか？
• RQ4 ベンチマークデータセットにおいて、提案手法は既存手法と比べて自然さ、関連性、多様性の観点でどの程度優れているか？

主な発見

• Quora データセットでは、各入力文に対して生成された最良のサンプルを評価した結果、本手法は BLEU、ROUGE、METEOR の各指標で全モデル中最も高い性能を達成した。
• 人間評価では、本手法が VAE-SVG よりも顕著に高い関連性と自然さ（平均スコア 4.3）を示した（VAE-SVG の平均スコアは 3.8）。
• Quora では VAE-SVG よりも平均性能が優れており、MSCOCO では BLEU と ROUGE-2 において一貫した向上を示した。これは、より優れた分布モデリングを示している。
• 入力文ごとにパターン埋め込みを変化させることで、意味内容を保持しつつ意味的に有意義な言語的多様性を示す多様な並び替え文を生成できた。
• 多クラス WGAN フレームワークにより、実際の正例分布との整合性が向上し、負例から遠ざけることで一般化性能が向上し、より堅牢な生成が実現した。
• MSCOCO では Quora よりもより多様な並び替え文が生成された。これは、画像キャプションに起因するデータセット固有の多様性を反映している。