[論文レビュー] Graph-based Neural Multi-Document Summarization

Michihiro Yasunaga, Rui Zhang+4 more|arXiv (Cornell University)|Jun 20, 2017

Topic Modeling参考文献 35被引用数 49

ひとこと要約

本稿では、文間および文書間の関係を捉えるために、パーソナライズドディスcourseグラフ（PDG）上でグラフ畳み込みネットワーク（GCN）を用いたグラフベースのニューラルマルチドキュメント要約モデルを提案する。RNNで埋め込みられた文の特徴とGCNによる特徴伝搬を組み合わせることで、Salience推定が向上し、DUC 2004で優れた性能を発揮する。従来のグラフベース手法およびシンプルなGRUベースラインを上回る。

ABSTRACT

We propose a neural multi-document summarization (MDS) system that incorporates sentence relation graphs. We employ a Graph Convolutional Network (GCN) on the relation graphs, with sentence embeddings obtained from Recurrent Neural Networks as input node features. Through multiple layer-wise propagation, the GCN generates high-level hidden sentence features for salience estimation. We then use a greedy heuristic to extract salient sentences while avoiding redundancy. In our experiments on DUC 2004, we consider three types of sentence relation graphs and demonstrate the advantage of combining sentence relations in graphs with the representation power of deep neural networks. Our model improves upon traditional graph-based extractive approaches and the vanilla GRU sequence model with no graph, and it achieves competitive results against other state-of-the-art multi-document summarization systems.

研究の動機と目的

• 既存のニューラルMDSモデルが文を個別に処理するという限界に対処し、文書間および文間の関係を無視することを防ぐ。
• ディスコースレベルの文関係を深層ニューラルネットワークに統合し、マルチドキュメント要約におけるSalience予測を改善する。
• 要約性能の向上に寄与する異なる種類の文関係グラフ（コサイン類似度、近似ディスコースグラフ（ADG）、パーソナライズドディスコースグラフ（PDG））の有効性を評価する。
• 構造化された文グラフ上でGCNベースのメッセージ伝搬が、従来のグラフ中心性やRNNオンリーベースラインよりも優れたSalience推定を可能にすることを示す。

提案手法

• ディスコース特徴と文埋め込みを用いて、コサイン類似度グラフ、近似ディスコースグラフ（ADG）、パーソナライズドディスコースグラフ（PDG）の3種類の文関係グラフを構築する。
• GCNの入力ノード特徴として、双方向GRUを用いて文埋め込みを生成する。
• マルチレイヤーのグラフ畳み込みネットワーク（GCN）を適用し、グラフ全体にわたる特徴の伝搬と集約を行い、高レベルの文脈表現を捉える。
• GCN処理済みの文特徴の上に回帰ヘッドを設けて、Salience推定を実行する。
• 冗長性低減を伴うグリーディな文選択戦略を用いて、上位スコアの文から最終要約を抽出する。
• PDGにおいて、パーソナライズドページランク風のエッジ重み付けを導入し、異なる文書間のディスコース関連接続を強調する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルMDSモデルに文関係グラフを組み込むことで、従来のグラフベース手法やRNNオンリーベースラインを上回るSalience推定が可能になるか？
• RQ2 コサイン類似度、ADG、PDGといった異なる種類の文関係グラフは、要約性能にどのように影響を与えるか？
• RQ3 文グラフ上でGCNベースのメッセージ伝搬が、重要で重複のない要約文を特定する能力を向上させるか？
• RQ4 PDGで捉えられるディスコースレベルの関係は、表面的な類似度と比較して、どの程度要約品質の向上に寄与するか？

主な発見

• 提案されたGCNベースのモデル、特にパーソナライズドディスコースグラフ（PDG）を用いたモデルは、DUC 2004ベンチマークで最先端のMDSシステムと同等の結果を達成した。
• 文を個別に処理する単純なGRUベースラインとは異なり、本モデルは顕著に優れた性能を示した。
• PDGベースのモデルは、LexRank や DivRank といった従来のグラフベース抽出手法を上回り、ディスコースに配慮したグラフと深いニューラル統合の利点を示した。
• PDGではノード次数とSalienceの間で相関係数ρ = 0.42を示し、重要文の関係を効果的に捉えていることが裏付けられた。
• ADGおよびPDGグラフは、コサイン類似度グラフよりも平均エッジ重みとノード次数が高く、ディスコース関係のより豊かな構造的符号化を反映している。
• 可視化結果から、PDGにおける高次数ノードは、特に中心的な物語的内容を提供する参考要約とよく一致する重要文に対応していることが確認された。