[論文レビュー] Leveraging Graph to Improve Abstractive Multi-Document Summarization

Wei Li, Xinyan Xiao+4 more|arXiv (Cornell University)|May 20, 2020

Topic Modeling参考文献 57被引用数 11

ひとこと要約

本稿では、類似度、トピック、弁論的関係のグラフといった明示的なグラフ表現を活用して、エンコーディング段階とデコーディング段階の両方で文書間関係をモデル化することを目的とした神経的抽象的マルチドキュメント要約モデル「GraphSum」を提案する。グラフにインスパイアされたアテンションと階層的グラフアテンション機構を統合することで、WikiSumおよびMultiNewsで最先端の性能を達成し、ROUGEスコアと人的評価の両面で顕著な向上を示した。特に長文入力に対して顕著な効果を示した。

ABSTRACT

Graphs that capture relations between textual units have great benefits for detecting salient information from multiple documents and generating overall coherent summaries. In this paper, we develop a neural abstractive multi-document summarization (MDS) model which can leverage well-known graph representations of documents such as similarity graph and discourse graph, to more effectively process multiple input documents and produce abstractive summaries. Our model utilizes graphs to encode documents in order to capture cross-document relations, which is crucial to summarizing long documents. Our model can also take advantage of graphs to guide the summary generation process, which is beneficial for generating coherent and concise summaries. Furthermore, pre-trained language models can be easily combined with our model, which further improve the summarization performance significantly. Empirical results on the WikiSum and MultiNews dataset show that the proposed architecture brings substantial improvements over several strong baselines.

研究の動機と目的

• マルチドキュメント要約（MDS）における文書間関係のモデル化という課題に取り組み、重要コンテンツの特定と要約の整合性を確保することが不可欠である。
• 類似度、トピック、弁論的関係といった明示的なグラフ表現が、神経的抽象的MDSモデルの性能向上に寄与するかを検証する。
• グラフ構造を文書エンコーディングと要約生成の両段階に統合する包括的なフレームワークを構築する。
• 事前学習済み言語モデル（例：RoBERTa）と効果的に統合し、長文入力シーケンスの処理を可能にするとともに要約品質を向上させる。
• より洗練されたグラフ構造が、情報量、自然さ、要約の簡潔さの観点で、要約性能の向上に寄与することを実証する。

提案手法

• 明示的なグラフ構造を用いて文書間関係を捉えることで、文書エンコーディング段階での性能向上を図るグラフにインスパイアされたアテンション機構を導入する。
• デコーダーでは、グラフの構造的情報を活用して要約生成をガイドする階層的グラフアテンション機構を採用する。
• 入力表現として、類似度グラフ（語彙的類似度）、トピックグラフ（トピックモデリングに基づく）、弁論的グラフ（弁論的関係に基づく）の3種類のグラフを構築する。
• 事前学習済み言語モデル（例：RoBERTa）と組み合わせることで、長文処理の性能向上を図る、グラフ強化型エンコーダ-デコーダアーキテクチャを構築する。
• ノード表現の精錬を図るため、グラフ畳み込みネットワーク（GCNs）を用いて、重要度と関係性情報の効果的な伝播を実現する。
• 2段階の訓練戦略を採用：まずグラフエンコーダーとデコーダーを事前学習し、その後、モデル全体をエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 類似度、トピック、弁論的関係といった明示的なグラフ表現が、抽象的マルチドキュメント要約の性能向上に寄与するか？
• RQ2 エンコーディング段階とデコーディング段階の両方にグラフを組み込むことで、生成された要約の品質と整合性はどのように変化するか？
• RQ3 提案手法は、特に長文入力において、強力なベースラインを上回る性能を示すか？
• RQ4 より洗練されたグラフ構造（例：弁論的関係 vs. 類似度）は、要約性能にどの程度の向上をもたらすか？
• RQ5 グラフ強化型モデルは、事前学習済み言語モデルと効果的に統合可能であり、長文要約処理の性能向上に寄与するか？

主な発見

• WikiSumのテストセットにおいて、GraphSumはROUGE-1が42.63、ROUGE-2が27.70、ROUGE-Lが36.97を達成し、強力なベースラインを顕著に上回った。
• アブレーションスタディの結果、グラフにインスパイアされたエンコーディング（w/o graph enc: 40.61 ROUGE-1）とグラフにガイドされたデコーディング（w/o graph dec: 42.06 ROUGE-1）の両方が、性能向上に不可欠であることが確認された。
• 長文入力（例：3000トークン）においても、GraphSumは高い性能を維持しており、入力長が増えるほどベースラインとの差が拡大する傾向にあり、長文処理能力の優位性が裏付けられた。
• 人的評価では、GraphSumとGraphSum+RoBERTaが平均スコア1.02および1.16を獲得し、他のモデル（p < 0.01）を顕著に上回った。
• GraphSumとRoBERTaの組み合わせにより、WikiSumでROUGE-1が43.21に達した。これは、グラフモデリングと事前学習言語モデルの間で強い相乗効果があることを示している。
• 関係性が洗練されたグラフ、特に弁論的グラフが、より大きな性能向上をもたらすことが確認され、グラフの構造的深さが要約品質の向上に寄与することが実証された。