[論文レビュー] Enhancing Extractive Text Summarization with Topic-Aware Graph Neural Networks

Peng Cui, Le Hu+1 more|arXiv (Cornell University)|Oct 13, 2020

Topic Modeling参考文献 40被引用数 6

ひとこと要約

本稿では、文間の関係性をグラフ構造の文書表現を通じて捉え、文書レベルのトピック情報を統合するためのトピック認識型グラフニューラルネットワーク（GNN）モデルを提案する。このモデルは、CNN/DMおよびNYTデータセットで最先端の性能を達成し、長大な科学論文においても既存手法を顕著に上回り、文書長やジャンルにわたる堅牢性が向上していることを示している。

ABSTRACT

Text summarization aims to compress a textual document to a short summary while keeping salient information. Extractive approaches are widely used in text summarization because of their fluency and efficiency. However, most of existing extractive models hardly capture inter-sentence relationships, particularly in long documents. They also often ignore the effect of topical information on capturing important contents. To address these issues, this paper proposes a graph neural network (GNN)-based extractive summarization model, enabling to capture inter-sentence relationships efficiently via graph-structured document representation. Moreover, our model integrates a joint neural topic model (NTM) to discover latent topics, which can provide document-level features for sentence selection. The experimental results demonstrate that our model not only substantially achieves state-of-the-art results on CNN/DM and NYT datasets but also considerably outperforms existing approaches on scientific paper datasets consisting of much longer documents, indicating its better robustness in document genres and lengths. Further discussions show that topical information can help the model preselect salient contents from an entire document, which interprets its effectiveness in long document summarization.

研究の動機と目的

• 長文ドキュメントにおける長距離の文間関係を捉えることのできない既存の抽出要約モデルの限界を是正すること。
• 文の選択における重要度検出を、潜在的なトピック情報の統合によって向上させること。
• 文の相互作用と文書レベルのトピックを統合的にモデル化する統一フレームワークを構築し、より正確な抽出要約を実現すること。
• 特に従来モデルが性能を発揮しない長大な科学論文において、モデルの堅牢性を評価すること。
• トピック信号がグラフベースの最適化の前段階で重要コンテンツを事前に選別するプロセスを分析することで、解釈可能性を提供すること。

提案手法

• 文をノードとし、意味的および位置的関係をエンコードするエッジを持つグラフ構造の文書表現を構築する。
• グラフニューラルネットワーク（GNN）が接続された文の表現を統合することで、長距離の依存関係を捉え、文の重要度スコアを精緻化する。
• ドキュメントから潜在トピックを発見するため、エンドツーエンドで学習可能な共同ニューラルトピックモデル（NTM）を訓練する。
• NTMが生成するトピック分布を文の表現と連結し、GNNが重要文を特定するのを支援する。
• 最終的な要約は、GNNとトピック認識特徴を組み合わせた学習済みの重要度スコアに基づき、上位スコアの文を選択することで生成する。
• ROUGEスコアを最適化する微分可能損失関数を用いて、モデル全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、長文ドキュメントにおける文間関係を効果的にモデル化でき、抽出要約の性能向上に寄与するか？
• RQ2 潜在的なトピック情報の統合により、モデルの重要コンテンツ同定能力がどのように向上するか？
• RQ3 提案手法は、長大な科学論文において既存の抽出モデルを上回る性能を示すか？
• RQ4 トピック信号が、グラフベースの最適化の前段階で重要コンテンツを事前に選別するにあたり、どの程度寄与するか？
• RQ5 モデルは多様なドキュメントジャンルや長さにわたって堅牢性を示すか？

主な発見

• 本モデルは、CNN/DMおよびNYTベンチマークデータセットで、ROUGE-1、ROUGE-2、ROUGE-Lの各スコアで最先端の性能を達成した。
• 長大な科学論文データセットでは、従来手法を顕著に上回り、文書長に対する一般化能力と堅牢性が優れていることが示された。
• アブレーションスタディの結果、GNNまたはトピックモデリングのいずれかのコンポONENTを削除すると、性能が著しく低下し、両コンポonentの貢献が確認された。
• 定性的な分析から、トピック情報が、特に複雑または散在する重要コンテンツを有するドキュメントにおいて、モデルが関連する文を事前に選別するのを支援することが確認された。
• モデルのアテンションメカニズムは、トピックテーマと整合する一貫性のある文クラスタを強調しており、解釈可能性と要約の一貫性の向上を示している。
• GNNとNTMの共同学習により、2つのコンポonentを別々にまたは逐次的に統合するのとは異なり、より優れた特徴学習が可能になった。