[論文レビュー] Structure-Infused Copy Mechanisms for Abstractive Summarization

Kaiqiang Song, Lin Zhao+1 more|arXiv (Cornell University)|Jun 14, 2018

Topic Modeling被引用数 52

ひとこと要約

本論文は、構造を組み込んだコピー機構を用いて、ソースの統語情報を抽出器のコピー機構へ注入することで意味の保持を改善し、Gigawordでベースラインを上回る。複数のアーキテクチャを評価し、ROUGEと人間の判断で利得を示す。

ABSTRACT

Seq2seq learning has produced promising results on summarization. However, in many cases, system summaries still struggle to keep the meaning of the original intact. They may miss out important words or relations that play critical roles in the syntactic structure of source sentences. In this paper, we present structure-infused copy mechanisms to facilitate copying important words and relations from the source sentence to summary sentence. The approach naturally combines source dependency structure with the copy mechanism of an abstractive sentence summarizer. Experimental results demonstrate the effectiveness of incorporating source-side syntactic information in the system, and our proposed approach compares favorably to state-of-the-art methods.

研究の動機と目的

• ソース内の希少な統語構造がニューラル要約器に意味喪失を引き起こす可能性を動機づける。
• 要約に重要なソース語の語と依存関係を保持するために構造を組み込んだコピー機構を提案する。
• 構造埋め込みの統合アーキテクチャ（入力側 vs 隠れ層側）と二方向の意味-構造顕示モデルの比較。
• ROUGE指標と人間の判断を用いてGigawordデータセットで有効性を評価する。
• 意味を最もよく保持する構造信号とアーキテクチャについて洞察を提供する。

提案手法

• 2層の双方向LSTMエンコーダと注意機構ベースのデコーダを備えたエンコーダ-デコーダを構築する。
• 生成スイッチp_genに基づいて語彙からの生成とソースからのコピーを混ぜるコピー機構（ポインタ-ジェネレータ型）を組み込む。
• 構造埋め込み（6カテゴリ）を追加して、依存の深さ、エッジラベル、品詞、位置特徴などの構文を注入する構造感-infusedコピー機構を導入する。
• Struct+Input（構造を単語入力と連結）とStruct+Hidden（構造をエンコーダ隠れ状態と連結）の2つの浅い統合戦略を比較する。
• 2Way+Word（意味的注意アルファと構造的注意ベータを joint delta で結合）と2Way+Relation（同じく意味-構造を組み合わせるが、親特徴を含む依存エッジ表現と関係の顕示を使用）という2つの2方向アーキテクチャを開発する。
• カバレッジベースの正則化を適用して1対1の注意を促し、ソース内容とのアライメントを高めるために参照機構を用いたビーム探索をオプションで使用する。

実験結果

リサーチクエスチョン

• RQ1 ソース側の統語構造をコピー機構に組み込むと、ベースラインに対して要約の忠実度が向上するか。
• RQ2 構造埋め込みの統合点（Struct+Input vs Struct+Hidden）はどちらが性能と効率の点で優れているか。
• RQ3 意味と構造の顕示を組み合わせた二方向モデル（Word版またはRelation版）は、単一注意のベースラインより優れているか。
• RQ4 構造的手掛かりは生成された要約における依存関係の保存にどの程度影響を与えるか。
• RQ5 構造-infusedモデルはGigawordにおけるROUGE指標と人間判断で最先端システムと比較してどうか？

主な発見

Dataset	System	R-1	R-2	R-L
Gigaword Valid-2000	Baseline	42.48	21.34	40.18
Gigaword Valid-2000	Struct+Input	42.44	21.75	40.46
Gigaword Valid-2000	Struct+Hidden	42.88	21.81	40.63
Gigaword Valid-2000	Struct+2Way+Word	43.21	21.84	40.86
Gigaword Valid-2000	Struct+2Way+Relation	42.83	21.85	40.60
Gigaword Test-1951	ABS (Rush et al.)	29.55	11.32	26.42
Gigaword Test-1951	ABS+ (Rush et al.)	29.76	11.88	26.96
Gigaword Test-1951	Luong-NMT	33.10	14.45	30.71
Gigaword Test-1951	RAS-LSTM	32.55	14.70	30.03
Gigaword Test-1951	RAS-Elman	33.78	15.97	31.15
Gigaword Test-1951	ASC+FSC1	34.17	15.94	31.92
Gigaword Test-1951	lvt2k-1sent	32.67	15.59	30.64
Gigaword Test-1951	lvt5k-1sent	35.30	16.64	32.62
Gigaword Test-1951	Multi-Task w/ Entailment	32.75	15.35	30.82
Gigaword Test-1951	DRGD	36.27	17.57	33.62
Gigaword Test-1951	Baseline (this paper)	35.43	17.49	33.39
Gigaword Test-1951	Struct+Input	35.32	17.50	33.25
Gigaword Test-1951	Struct+2Way+Relation	35.46	17.51	33.28
Gigaword Test-1951	Struct+Hidden	35.49	17.61	33.33
Gigaword Test-1951	Struct+2Way+Word	35.47	17.66	33.52

• すべての構造-infusedモデルはGigaword valid-2000においてベースのコピー機構よりROUGE指標で上回っている。
• Struct+HiddenはStruct+Inputよりもパラメータ数が少ないにも関わらず上回っており、エンコーダ状態への直接統合が有効であることを示す。
• 2Way+Wordモデルはvalid-2000で最高のROUGEスコアを達成（R-1: 43.21, R-2: 21.84, R-L: 40.86）。
• Gigaword test-1951データセットでは、構造-infusedモデルは複数の最先端システムと同等かそれを上回るROUGEスコアを達成し、Struct+2Way+Word varianteが高い性能を示す。
• 人間評価ではStruct+2Way+RelationがStruct+Inputより情報量、流暢さ、忠実度の点で優れ、グラウンドトゥルーの要約と競合する結果を得る。
• 依存関係保持分析によれば、構造-infused手法は salient な関係（nsubj, dobj, amod, nmod, nmod:poss）をより頻繁に保持する傾向にあり、情報量が少ない関係（mark, case, conj, cc, det）よりも保持されやすい。