[論文レビュー] BASS: Boosting Abstractive Summarization with Unified Semantic Graph

Wenhao Wu, Wei Li+6 more|arXiv (Cornell University)|May 25, 2021

Topic Modeling参考文献 52被引用数 4

ひとこと要約

本稿では、長文および複数文書入力の抽象的要約を向上させるために、長距離依存関係と全体的な構造をモデル化する統合的意味的グラフを構築する、グラフベースのフレームワークBASSを提案する。コアファレンス解決とフレーズレベルの関係をグラフエンコーダーとグラフ伝搬注意機構に統合することで、BASSはコンテンツ選択と一貫性を顕著に向上させ、BIGPATENTおよびWikiSUMデータセットにおいて強力なベースラインを上回り、ROUGEスコアと人間評価の両面で最先端の結果を達成した。

ABSTRACT

Abstractive summarization for long-document or multi-document remains challenging for the Seq2Seq architecture, as Seq2Seq is not good at analyzing long-distance relations in text. In this paper, we present BASS, a novel framework for Boosting Abstractive Summarization based on a unified Semantic graph, which aggregates co-referent phrases distributing across a long range of context and conveys rich relations between phrases. Further, a graph-based encoder-decoder model is proposed to improve both the document representation and summary generation process by leveraging the graph structure. Specifically, several graph augmentation methods are designed to encode both the explicit and implicit relations in the text while the graph-propagation attention mechanism is developed in the decoder to select salient content into the summary. Empirical results show that the proposed architecture brings substantial improvements for both long-document and multi-document summarization tasks.

研究の動機と目的

• Seq2Seqモデルが長文および複数文書要約を処理する際、長距離関係のモデル化が不十分であるという限界を解消すること。
• コアファレンス関係と全体構造を捉える統合的意味的グラフを活用することで、文書表現と要約生成を改善すること。
• グラフベースのエンコーディングとデコーディング機構を通じて、抽象的要約におけるコンテンツ選択と一貫性を向上させること。
• 自動評価および人間評価を用いて、複雑な要約シナリオにおける統合的意味的グラフの有効性を検証すること。

提案手法

• 依存解析とコアファレンス解決を用いて、長期間にわたる文脈にわたる共参照フレーズを集約するフレーズレベルの統合的意味的グラフを構築する。
• グラフ拡張技術を適用して、フレーズ間の明示的および暗黙的な意味的関係を符号化する。
• フレーズ間関係をモデル化することで文書表現を向上させる、グラフエンコーダーを設計する。
• 要約生成を、グラフに接続された顕著なコンテンツを選択することでガイドする、グラフ伝搬注意機構をデコーダーに導入する。
• エンコーダーとデコーダーの両方にグラフ構造を統合することで、生成要約のグローバルな文脈理解と一貫性を強化する。
• 事前学習言語モデルをバックボーンとして用いながら、要約性能を向上させるためにグラフベースのインダクティブバイアスを強化する。

実験結果

リサーチクエスチョン

• RQ1 統合的意味的グラフは、長文および複数文書入力における抽象的要約の文脈で、長距離依存関係と全体構造を効果的にモデル化できるか？
• RQ2 グラフベースのエンコーディングは、標準的なSeq2Seqモデルや文書レベルのグラフモデルと比較して、文書表現をどの程度改善するか？
• RQ3 デコーダーにおけるグラフ伝搬注意機構は、顕著なコンテンツ選択と要約の一貫性をどの程度向上させるか？
• RQ4 提案されたフレームワークは、長文および複数文書要約において、自動評価および人間評価の両方で強力なベースラインを上回るか？
• RQ5 標準モデルのコンテキスト制限を超えて、入力長が延長されても、モデルは性能を維持できるか？

主な発見

• BASSはBIGPATENT長文要約データセットにおいて最先端の性能を達成し、入力長が3000トークンまでに達する範囲でROUGE-1スコアが顕著に向上した。
• WikiSUM複数文書要約データセットでは、RoBERTaS2SやGraphSumを含む強力なベースラインを自動評価および人間評価の両方で上回った。
• 人間評価では、BASSはより自然で、簡潔かつ情報量の多い要約を生成し、GraphSumの0.58およびRoBERTaS2Sの0.48と比較して1.18のスコアを獲得した。
• BASSは従来のモデルよりもより抽象的な要約を生成し、新しいn-gramの平均数が多かったため、より強い抽象的要約能力を示した。
• グラフ伝搬注意機構はコンテンツ選択を効果的にガイドし、生成要約の誤り（ホールーリネーション）を低減し、一貫性を向上させた。
• 極端に長い入力長であっても、BASSは性能の向上を維持したのに対し、GraphSumは3000トークンを超えると性能が低下した。