[論文レビュー] Incorporating Copying Mechanism in Sequence-to-Sequence Learning

Jiatao Gu, Zhengdong Lu+2 more|arXiv (Cornell University)|Mar 21, 2016

Topic Modeling参考文献 15被引用数 258

ひとこと要約

CopyNetは、入力から部分列をコピーできる微分可能なコピー機構を備えたseq2seqを拡張し、合成パターン学習、テキスト要約、単一ターン対話のようなタスクで性能を向上させます。

ABSTRACT

We address an important problem in sequence-to-sequence (Seq2Seq) learning referred to as copying, in which certain segments in the input sequence are selectively replicated in the output sequence. A similar phenomenon is observable in human language communication. For example, humans tend to repeat entity names or even long phrases in conversation. The challenge with regard to copying in Seq2Seq is that new machinery is needed to decide when to perform the operation. In this paper, we incorporate copying into neural network-based Seq2Seq learning and propose a new model called CopyNet with encoder-decoder structure. CopyNet can nicely integrate the regular way of word generation in the decoder with the new copying mechanism which can choose sub-sequences in the input sequence and put them at proper places in the output sequence. Our empirical study on both synthetic data sets and real world data sets demonstrates the efficacy of CopyNet. For example, CopyNet can outperform regular RNN-based model with remarkable margins on text summarization tasks.

研究の動機と目的

• Seq2Seqタスクでの入力部分列の正確なコピーの必要性を動機づける（例：固有名詞、日付）。
• 生成とコピーの両方を微分可能な枠組みに統合した統一的なエンコーダ-デコーダモデル（CopyNet）を提案する。
• 合成データセット、要約データセット、対話データセット全体でCopyNetの有効性を実証する。
• コピーはソース側の内容を活用することで、語彙外語の取り扱いを改善することを示す。

提案手法

• エンコーダ–デコーダ構造と、生成モードとコピーモードを組み合わせた混合予測モデルを導入する。
• コピー モードのスコアを、入力のサブシーケンスをコピーするためにソース隠れ状態を用いて定義する（Eq. 6）。
• 生成モードのスコアを、パラメータ化された語彙スコアを用いた標準のデコーダ出力で定義する（Eq. 7）。
• 生成とコピーの両モード間でソフトマックス競合を形成するために、共有正規化因子Zを計算する（Eq. 4–6）。
• ソースメモリ M の内容ベースの attentive read（内容ベース）と位置ベースの selective read を組み合わせたハイブリッドアドレッシング機構を導入する（セクション 3.3–3.4）。
• 前の単語埋め込みと位置認識の selective read ベクトルを含むデコーダ状態に更新して、次のステップを導く（Eq. 9）。
• 追加のモードラベルなしで負の対数尤度を最小化することで、エンドツーエンドで訓練する（Eq. 10）。

実験結果

リサーチクエスチョン

• RQ1 微分可能なコピー機構は、入力セグメントの忠実な再現を必要とするタスクでSeq2Seqモデルの性能を改善できるか？
• RQ2 CopyNetはコピーと生成のバランスをどのようにとり、ソースコピーを通じて語彙外語をどのように処理するか？
• RQ3 CopyNetは、合成、要約、対話データセットにおいて、注意機構あり/なしの標準のエンコーダ-デコーダモデルと比較して性能を改善するか？
• RQ4 ハイブリッド（内容ベースと場所ベース）のアドレス指定が効果的なコピーを可能にする役割は何か？

主な発見

表1：合成データでのテスト精度（％）	ルール種別	Enc-Dec	RNNSearch	CopyNet
x→∅	100	99.0	97.3
x→x	3.3	69.4	93.7
x y→xx	1.5	22.3	98.3
x y→x	2.9	40.7	68.2
x y→xy	0.0	2.6	77.5

• CopyNetは、合成コピータスクで標準のEnc-DecとRNNSearchを著しく上回る（Table 1）。
• LCSTS中国語要約で、CopyNetはbaselineより高いROUGEスコアを達成し、+Cおよび+Wバリアントが強い改善を示している（Table 3）。
• 単一ターン対話では、CopyNetはRNNSearchよりTop-1およびTop-10デコード精度が高く、特に訓練データとテストデータの部分列が分離している場合に顕著（Table 4）。
• CopyNetはソースから長い語彙外 subsequences をコピーでき、 abstractiveタスク（要約と対話）のオープン語彙問題を緩和する。
• モデルはコピー モードと生成モードの間の正確な協調を示し、しばしば連続する入力セグメントをコピーし、生成された内容を挿入して流暢な出力を形成する（図のケーススタディ）。