[論文レビュー] Discourse-Aware Neural Extractive Text Summarization

Jiacheng Xu, Zhe Gan+2 more|arXiv (Cornell University)|Oct 30, 2019

Topic Modeling参考文献 50被引用数 20

ひとこと要約

本稿では、冗長性を低減し要約の情報量を向上させるために、完全な文の代わりに基本的議論単位（EDU）を選択単位として使用する、議論に配慮した抽出的要約モデルであるDiscoBertを提案する。RSTおよび共参照の議論グラフを構築し、それらをグラフ畳み込みネットワークで符号化することで、長距離依存関係を捉えることができ、BERT-baseモデルと比較してCNN/DMおよびXSumベンチマークで最先端の性能を達成した。

ABSTRACT

Recently BERT has been adopted for document encoding in state-of-the-art text summarization models. However, sentence-based extractive models often result in redundant or uninformative phrases in the extracted summaries. Also, long-range dependencies throughout a document are not well captured by BERT, which is pre-trained on sentence pairs instead of documents. To address these issues, we present a discourse-aware neural summarization model - DiscoBert. DiscoBert extracts sub-sentential discourse units (instead of sentences) as candidates for extractive selection on a finer granularity. To capture the long-range dependencies among discourse units, structural discourse graphs are constructed based on RST trees and coreference mentions, encoded with Graph Convolutional Networks. Experiments show that the proposed model outperforms state-of-the-art methods by a significant margin on popular summarization benchmarks compared to other BERT-base models.

研究の動機と目的

• 文単位の抽出的要約における冗長性と長距離依存関係のモデル化不足を解消すること。
• 完全な文の代わりに、文の下位単位（EDU）で処理することで、事実の整合性を向上させ、要約をより簡潔にすること。
• 特に修辞的構造理論（RST）と共参照関係を含む議論構造をインダクティブバイアスとして活用し、文書レベルの文脈モデリングを改善すること。
• 議論ユニット間の長距離相互作用を捉える議論グラフを統合することで、BERTベースの要約を強化すること。
• エンド・ツー・エンドのニューラルフレームワークを用いて、標準的なテキスト要約ベンチマークで最先端の性能を達成すること。

提案手法

• モデルは、RSTに基づくセグメンテーションから得られる議論ユニット（EDU）をBERTで符号化し、文単位の符号化に代えて使用する。
• 2つの議論グラフを構築する：(1) EDUのRST解析ツリーから得られるRSTグラフ、(2) 文書全体にわたる同一実体の言及を結ぶ共参照グラフ。
• グラフ畳み込みネットワーク（GCN）を2つの議論グラフに適用し、表現を伝搬させ、EDU間の長距離依存関係をモデル化する。
• 符号化された表現に基づいて上位ランクのEDUを選択することで抽出的要約を実行し、文より小さい単位での選択により、自然に要約が圧縮される。
• 標準的なBERTベースの最適化手法を用いて、要約データセット上でエンド・ツー・エンドで微調整する。
• 議論グラフは、事前に訓練された議論解析ツールおよび共参照解決ツールを用いて構築され、辺は修辞的関係および共参照チェーンによって定義される。

実験結果

リサーチクエスチョン

• RQ1 文より小さい議論単位（EDU）は、抽出的要約の選択基準として完全な文よりも効果的であると考えられるか？
• RQ2 議論グラフ（RSTおよび共参照）は、BERTベースの要約における長距離依存関係のモデル化をどの程度向上させられるか？
• RQ3 GCNを用いて議論構造を統合することで、より簡潔で、冗長性が低く、情報量の多い要約が得られるか？
• RQ4 提案手法は、標準ベンチマークにおいて、最先端のBERTベースの抽出的モデルと比較してどの程度優れているか？
• RQ5 議論グラフ構築における主な失敗モードは何か？ それらは要約品質にどのように影響するか？

主な発見

• DiscoBertは、CNN/DMおよびXSum要約ベンチマークで、他のBERT-baseモデルと比較して、新たな最先端の結果を達成した。
• 選択単位としてEDUを使用することで、文単位抽出と比較して、より簡潔で冗長性の低い要約が得られた。
• 議論グラフの統合により、性能が顕著に向上し、構造的な議論知識がインダクティブバイアスとしての価値を持つことが示された。
• 誤差解析の結果、性能の低下は主にRST依存解析および共参照解決の誤りに起因しており、特に代名詞の逆参照解決で顕著であった。
• 一般的な誤りには、誤った句読点、引用符の欠落、曖昧な代名詞（例：「彼」が明確な先行詞を持たないもの）があり、これらは要約の整合性に影響を与えた。
• モデルは、ニュース要約および長文書要約の両タスクで一貫した向上を示し、ドメインの変化に対しても頑健であることが示された。