[論文レビュー] Joint Copying and Restricted Generation for Paraphrase

Ziqiang Cao, Chuwei Luo+2 more|arXiv (Cornell University)|Nov 28, 2016

Text Readability and Simplification被引用数 61

ひとこと要約

この論文では、要約とテキスト簡略化のタスクにおいて、コピーと制限付き生成を統合的にモデル化する新しいシーケンス・トゥ・シーケンスモデルCoReを提案する。コピー用デコーダーと、ソース固有の語彙に制限された生成用デコーダーを統合し、訓練データの真値の書き方モードを用いて学習する教師あり予測器により、モードを切り替えることで、情報量と文のなめらかさの両面で最先端のモデルを上回る性能を達成する。

ABSTRACT

Many natural language generation tasks, such as abstractive summarization and text simplification, are paraphrase-orientated. In these tasks, copying and rewriting are two main writing modes. Most previous sequence-to-sequence (Seq2Seq) models use a single decoder and neglect this fact. In this paper, we develop a novel Seq2Seq model to fuse a copying decoder and a restricted generative decoder. The copying decoder finds the position to be copied based on a typical attention model. The generative decoder produces words limited in the source-specific vocabulary. To combine the two decoders and determine the final output, we develop a predictor to predict the mode of copying or rewriting. This predictor can be guided by the actual writing mode in the training data. We conduct extensive experiments on two different paraphrase datasets. The result shows that our model outperforms the state-of-the-art approaches in terms of both informativeness and language quality.

研究の動機と目的

• 標準的なSeq2Seqモデルが要約タスクにおける2つの中心的なライティングモード（コピーと再表現）を捉えきれていないという限界を是正すること。
• 生成用デコーダーを小さなソース固有語彙に制限することで、計算コストを低減し、関連性を向上させること。
• 教師あり予測器を用いてライティングモード（コピー対再表現）を明示的にモデル化することで、解釈可能性と性能を向上させること。
• 要約タスクにおける情報量と文の品質の両面で、既存のSeq2Seqおよび統計的手法を上回ること。

提案手法

• コピー用デコーダーは、標準的なアテンションを用いてソース入力から直接語を特定・コピーする。
• 制限付き生成用デコーダーは、アラインメント済みのソース・ターゲット語と頻出語から構成されるソース固有語彙からのみ語を生成する。
• 二値のシーケンスラベル予測器を訓練し、各出力トークンがコピーか再表現かを、訓練データの真値のライティングモードに基づいて予測する。
• 最終出力は、両方のデコーダーの予測を組み合わせ、予測器が各ステップでモードを選択することで決定される。
• ソース・ターゲットアラインメントテーブルは事前学習され、制限付き語彙の構築に使用され、関連性と効率性が向上する。
• 両方のデコーダーのクロスエントロピー損失と、モード予測器のシーケンスラベル損失を統合的に訓練する。

実験結果

リサーチクエスチョン

• RQ1 統一されたSeq2Seqモデルは、要約生成におけるコピーと再表現の両方の行動を効果的にモデル化できるか？
• RQ2 生成用デコーダーをソース固有語彙に制限することで、性能と効率にどのような影響を与えるか？
• RQ3 教師ありモード予測は、無教師またはアテンションベースのモード選択と比較して、要約出力の正確性と文のなめらかさを向上させるか？
• RQ4 提案手法は、情報量と文の品質の両面で、最先端のSeq2Seqおよび統計的手法を上回る性能を達成できるか？

主な発見

• CoReは、抽象的要約とテキスト簡略化の両タスクで、最先端のSeq2Seqモデルおよび統計的機械翻訳手法を上回る。
• 標準的なSeq2Seqモデルが連続するスパンに依存するのとは異なり、多様なソース文書のキーワードを効果的にコピーすることで、情報量の高い出力を達成している。
• 標準モデルの出力次元の10分の1にまで縮小された制限付き生成用デコーダーは、95％以上のターゲット語をカバーし、高い関連性を持つ再表現を生成している。
• テストセットの130例以上が、正解とまったく同じ形で生成されており、人間の要約パターンと強い一致を示している。
• 予測器は適切なライティングモードの選択を学習しており、CoReは『told @entity3』を『said』に簡略化するなど、人間の要約行動を模倣している。
• Moses（ソーステキストを繰り返す）やABS（不完全または誤った文を生成する）と比較して、CoReはよりなめらかで簡潔な出力を生成している。