[論文レビュー] Query and Output: Generating Words by Querying Distributed Word Representations for Paraphrase Generation

Shuming Ma, Xu Sun+4 more|arXiv (Cornell University)|Mar 5, 2018

Natural Language Processing Techniques被引用数 16

ひとこと要約

本稿では、語の分散表現を注意メカニズムを用いて照会することで単語を生成する、新しいシーケンス・ツー・シーケンスモデルであるWord Embedding Attention Network (WEAN) を提案する。標準的なシーケンス・ツー・シーケンスモデルよりも意味的正確性が向上する。WEANは、テキスト簡略化および要約抽出ベンチマークで最先端の性能を達成し、英語データセットではベースラインを6.3 BLEUポイント、5.5 BLEUポイント上回り、中国語データセットでは5.7 ROUGE-2 F1を達成した。

ABSTRACT

Most recent approaches use the sequence-to-sequence model for paraphrase generation. The existing sequence-to-sequence model tends to memorize the words and the patterns in the training dataset instead of learning the meaning of the words. Therefore, the generated sentences are often grammatically correct but semantically improper. In this work, we introduce a novel model based on the encoder-decoder framework, called Word Embedding Attention Network (WEAN). Our proposed model generates the words by querying distributed word representations (i.e. neural word embeddings), hoping to capturing the meaning of the according words. Following previous work, we evaluate our model on two paraphrase-oriented tasks, namely text simplification and short text abstractive summarization. Experimental results show that our model outperforms the sequence-to-sequence baseline by the BLEU score of 6.3 and 5.5 on two English text simplification datasets, and the ROUGE-2 F1 score of 5.7 on a Chinese summarization dataset. Moreover, our model achieves state-of-the-art performances on these three benchmark datasets.

研究の動機と目的

• 標準的なシーケンス・ツー・シーケンスモデルが訓練パターンを記憶することに限定され、語の意味論を学習できないという問題を解決する。
• 語生成器のパラメータ数を削減することで、学習の効率性と収束速度を向上させる。
• 分散語表現に語生成を根拠づけることで、言い換え生成における意味的整合性を向上させる。
• テキスト簡略化および要約抽出ベンチマークで最先端の性能を達成する。
• 語の分散表現への照会に基づく注意メカニズムによる語生成の有効性を、検索スタイルのマッチングによって実証する。

提案手法

• 標準的な線形-ソフトマックス語生成器を、RNN隠れ状態をクエリとして扱う注意ベースのメカニズムに置き換える。
• 語の分散表現をキーおよび値として使用し、注意メカニズムがクエリに基づいて最も関連性の高い語表現を取得する。
• 語の分散表現への注意スコアが最も高い候補語を選択することで出力語を生成する。
• 語の分散表現を、エンコーダー入力、デコーダー入力、および出力層からのクエリベクトルの3つのソースから更新する。
• 注意ベースの語生成器をエンコーダー・デコーダー枠組みに統合し、エンド・ツー・エンドの学習を実現する。
• 事前学習済み語分散表現の意味的構造を活用して生成をガイドし、記憶に依存するのではなく意味のある語選択を促進する。

実験結果

リサーチクエスチョン

• RQ1 標準的なソフトマックス語生成器を注意ベースの検索メカニズムに置き換えることで、言い換え生成における意味的正確性が向上するか？
• RQ2 分散語表現への照会が、一般化性能の向上および訓練パターンの記憶の削減に寄与するか？
• RQ3 提案手法は、性能を維持または向上させつつ、語生成器のパラメータ数をどの程度削減できるか？
• RQ4 注意ベースの語生成メカニズムは、テキスト簡略化および要約抽出タスクで最先端の結果を達成できるか？
• RQ5 流暢で簡略化された言い換えを生成する際、意味的意味をどの程度保持できるか？

主な発見

• WEANは、英語のWikipediaテキスト簡略化（EW-SEW）データセットにおいて、標準的なシーケンス・ツー・シーケンスベースラインを6.3 BLEUポイント上回った。
• もう一つの英語のテキスト簡略化データセットにおいて、WEANはベースラインを5.5 BLEUポイント上回った。
• 中国語の要約抽出データセットにおいて、WEANはベースラインを5.7 ROUGE-2 F1ポイント上回った。
• 評価された3つのベンチマークデータセット（2つの英語のテキスト簡略化および1つの中国語要約）すべてで、最先端の性能を達成した。
• 事例研究では、WEANが流暢で意味的に正確で意味を保持する言い換えを生成する一方、ベースラインはしばしば不完全で整合性のない、または意味的に逸脱した出力を生成することが分かった。
• 注意ベースの語生成器は、標準的な線形-ソフトマックス層と比較して、パラメータ数を顕著に削減し、収束が速く、メモリ消費量も低減した。