[論文レビュー] D-PAGE: Diverse Paraphrase Generation

Qiongkai Xu, Juyan Zhang+3 more|arXiv (Cornell University)|Aug 13, 2018

Topic Modeling被引用数 29

ひとこと要約

D-PAGEは、デコーダーに学習可能なパターン埋め込みを導入することで、多様なパラフレーズ生成のためのニューラル機械翻訳モデルの性能を向上させる新規手法を提案する。これにより、1つの入力に対して複数の最適な出力を生成可能となる。実世界のデータセットを用いた評価では、新しい評価指標であるジェファレッジの発散を用いて、ベースラインと比較して少なくとも1桁の高い多様性を達成するとともに、強い意味的整合性を維持している。

ABSTRACT

In this paper, we investigate the diversity aspect of paraphrase generation. Prior deep learning models employ either decoding methods or add random input noise for varying outputs. We propose a simple method Diverse Paraphrase Generation (D-PAGE), which extends neural machine translation (NMT) models to support the generation of diverse paraphrases with implicit rewriting patterns. Our experimental results on two real-world benchmark datasets demonstrate that our model generates at least one order of magnitude more diverse outputs than the baselines in terms of a new evaluation metric Jeffrey's Divergence. We have also conducted extensive experiments to understand various properties of our model with a focus on diversity.

研究の動機と目的

• ニューラルモデルの進歩にもかかわらず、パラフレーズ生成における多様性の欠如に対処すること。
• 同じ入力に対して、複数の意味的に忠実で言語的に多様なパラフレーズを生成できる1つのモデルを実現すること。
• パrameter化されたパターン埋め込みを用いて、異なる書き換えパターンをモデル化することで、多様な出力を可能にする手法を開発すること。
• 異なる書き換えパターンに起因する多様性を測定する新しい評価指標、ジェファレッジの発散を導入すること。
• 合成データセット上で、解釈可能な原子的書き換えパターンを学習できるかを検証すること。

提案手法

• ニューラル機械翻訳モデルのデコーダーに、異なる書き換えパターンを表す学習可能なパターン埋め込みを追加する。
• 各入力に対して、モデルは適切なパターン埋め込みを動的に選択し、異なるパラメータサブセットを用いて多様な出力を生成する。
• 共有エンコーダと複数のデコーダ（それぞれが特定のパターン埋め込みに関連付けられる）を用い、エンドツーエンドでモデルを訓練する。
• すべてのパターンが学習されるように保証するため、訓練サンプルがデコーダ間でバランスよく分配されるよう損失関数を設計する。
• 出力間の分布的差異に基づいて多様性を定量化する新しい評価指標、ジェファレッジの発散を導入する。
• 合成データセットを構築し、事前に定義された原子的書き換えパターン（例：置換、スケーリング）を用いて、パターン学習能力をテストする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、忠実度を損なわず、複数の多様で意味的に忠実なパラフレーズを生成できるか？
• RQ2 提案されたパターン埋め込み機構は、異なる書き換えパターンを効果的に捉え、生成できるか？
• RQ3 特に新しい多様性指標を用いた場合に、既存手法を上回る多様な出力を生成できるか？
• RQ4 合成データにおいて、事前に定義された解釈可能な書き換えパターン（例：置換、スケーリング）をモデルが学習し、再現できるか？
• RQ5 パターン埋め込みの数（すなわちデコーダの数）が増加するに従い、モデルの性能はどのように変化するか？

主な発見

• D-PAGEは、2つの実世界データセットにおいて、ジェファレッジの発散を用いて測定したところ、ベースラインと比較して少なくとも1桁の高い多様性を達成した。
• モデルは競争力ある意味的整合性を維持しており、PPDBおよびParalexにおけるSARIスコアでは、D-PAGE-2およびD-PAGE-4が一部の状況でBeam-8を上回った。
• 合成データセットでは、D-PAGEは置換やスケーリングといった事前に定義された書き換えパターンを効果的に学習・適用できたが、Noise-KおよびVAE-Kは複数のパターンを一般化したり学習したりできなかった。
• デコーダ間での訓練サンプルの分布がバランスの取れた割合に収束しており、複数のパターンが効果的に学習されていることが示された。
• D-PAGE-8は、PPDBでは1.5日未満、Paralexでは4.1日未塔の訓練時間で十分な性能を発揮しており、デコーダ数の増加に伴い訓練時間は線形に増加した。
• モデルはカスタマイズの柔軟性を示しており、教育やジャーナリズムなどの特定の用途に合わせて、異なるパターン埋め込みを用いて出力を調整できる。