[論文レビュー] Heterogeneous Graph Neural Networks for Extractive Document Summarization

Danqing Wang, Pengfei Liu+3 more|arXiv (Cornell University)|Apr 26, 2020

Topic Modeling参考文献 45被引用数 37

ひとこと要約

論文は、抽出要約のために文間関係をモデル化するために文 node の間に語彙ノードを媒介として組み込む異種グラフニューラルネットワークであるHeterSUMGraphを提案し、文書ノードを用いたマルチドキュメント設定へ自然に拡張する。非-BERTベースラインに対しても有効に適用可能である。

ABSTRACT

As a crucial step in extractive document summarization, learning cross-sentence relations has been explored by a plethora of approaches. An intuitive way is to put them in the graph-based neural network, which has a more complex structure for capturing inter-sentence relationships. In this paper, we present a heterogeneous graph-based neural network for extractive summarization (HeterSumGraph), which contains semantic nodes of different granularity levels apart from sentences. These additional nodes act as the intermediary between sentences and enrich the cross-sentence relations. Besides, our graph structure is flexible in natural extension from a single-document setting to multi-document via introducing document nodes. To our knowledge, we are the first one to introduce different types of nodes into graph-based neural networks for extractive document summarization and perform a comprehensive qualitative analysis to investigate their benefits. The code will be released on Github

研究の動機と目的

• 抽出要約において逐次エンコーダを超える文間関係のモデリングの動機付け。
• 媒介語彙ノードを介して文の相互作用を豊かにする異種語彙–文グラフの導入。
• 単一文書からマルチ文書要約へ文書ノードでの拡張性を示す。
• CNN/DailyMail、NYT50、Multi-News のデータセットで非-BERTベースラインと比較して評価。
• 異種グラフ設計の利点を理解するためのアブレーションと定性的分析を提供。

提案手法

• 語彙ノードと文ノードを持つ異種グラフを構築し、語彙–文エッジをTF-IDF由来の特徴で重み付けする。
• 局所的および全体的な文特徴を捉えるためにCNNとBiLSTMを用いて文表現を初期化する。
• エッジ特徴と残差接続を持つGraph Attention Network (GAT) でノード表現を更新する；各ステップ後に語彙↔文の反復的メッセージ伝搬（8-head GAT、各ステップ後のFFN）。
• エッジ重み e_{ij} をエッジ埋め込みを通じてGATに組み込み；マルチヘッド注意機構と位置ごとのFFN変換を適用。
• マルチドキュメント設定では文書ノードを追加する（HeterDocSUMGraph）ことで語彙ノードと接続し、文書表現を集約して文書特徴を形成；最終スコアリングには文ノードと文書特徴を連結して用いる。
• 訓練は文書ラベリング（要約選択）に対する交差エントロピーで行い、デコーディング時にはトライグラムブロックを適用して冗長性を低減する。

実験結果

リサーチクエスチョン

• RQ1 異種語彙–文グラフは同種または完全連結の文グラフと比較して、抽出要約における文間関係のモデリングを改善できるか。
• RQ2 異種グラフに文書ノードを導入することは、マルチドキュメント要約における文書間関係を効果的に捉えるか。
• RQ3 アブレーション（エッジ特徴、語彙更新、文ノード初期化、残差接続）は標準ベンチマークでの性能にどのように影響するか。
• RQ4 CNN/DailyMailおよびNYT50で非-BERTベースラインと比較して競争力があるか、トライグラムブロックは追加の利得をもたらすか。

主な発見

Model	R-1	R-2	R-L
Lead-3 See et al. (2017)	40.34	17.70	36.57
Oracle Liu and Lapata (2019b)	52.59	31.24	48.87
REFRESH Narayan et al. (2018)	40.00	18.20	36.60
LATENT Zhang et al. (2018)	41.05	18.77	37.54
BanditSum Dong et al. (2018)	41.50	18.70	37.60
NeuSUM Zhou et al. (2018)	41.59	19.01	37.98
JECS Xu and Durrett (2019)	41.70	18.50	37.90
LSTM+PN Zhong et al. (2019a)	41.85	18.93	38.13
HER w/o Policy Luo et al. (2019)	41.70	18.30	37.10
HER w Policy Luo et al. (2019)	42.30	18.90	37.60
Ext-BiLSTM	41.59	19.03	38.04
Ext-Transformer	41.33	18.83	37.65
HeterSUMGraph (HSG)	42.31	19.51	38.74
HeterSUMGraph + Tri-Blocking	42.95	19.76	39.23

• CNN/DailyMail で HeterSUMGraph は Ext-BiLSTM および Ext-Transformer ベースラインを有意なマージンで上回り、HeterSUMGraph は 42.31 R-1、19.51 R-2、38.74 R-L を達成；トライグラムブロック適用で 42.95 R-1、19.76 R-2、39.23 R-L。
• NYT50 では 非-BERT ベースラインに対して改善を示し、(HSG) 46.89 R-1、26.26 R-2、42.58 R-L、(HSG + Tri-Blocking) 46.57 R-1、25.94 R-2、42.25 R-L。
• マルチドキュメント要約（Multi-News）では 先行の非-BERT モデルを上回り、HDSG が 46.05 R-1、16.35 R-2、42.08 R-L、HDSG + Tri-Blocking が 45.55 R-1、15.78 R-2、41.29 R-L。
• アブレーション研究では低 TF-IDF 語のフィルタリングの除去、エッジ特徴、残差、文/語の更新を削除すると一般に性能が低下することを示し、異種グラフ設計と反復的メッセージ伝搬の重要性を強調する。
• 定性的分析は語彙ノードの次数が要約の有用性と相関し、文書ノードの包含による利点はソース文書が増えるほど高まることを示す。