[論文レビュー] Scoring Sentence Singletons and Pairs for Abstractive Summarization

Logan Lebanoff, Kaiqiang Song+5 more|arXiv (Cornell University)|May 31, 2019

Topic Modeling参考文献 52被引用数 8

ひとこと要約

本稿では、要約の際に人間が1〜2文のソース文を選択し、圧縮または統合するのを模倣することで、要約の抽象化を向上させる統合的フレームワークを提案する。内容選択と生成を分離することで抽象化が向上し、BERTベースのモデルが優れた結果を示す。特に、文のペアを少ない数に制限することで、過剰な統合が要約品質を損なうのを防げる。

ABSTRACT

When writing a summary, humans tend to choose content from one or two sentences and merge them into a single summary sentence. However, the mechanisms behind the selection of one or multiple source sentences remain poorly understood. Sentence fusion assumes multi-sentence input; yet sentence selection methods only work with single sentences and not combinations of them. There is thus a crucial gap between sentence selection and fusion to support summarizing by both compressing single sentences and fusing pairs. This paper attempts to bridge the gap by ranking sentence singletons and pairs together in a unified space. Our proposed framework attempts to model human methodology by selecting either a single sentence or a pair of sentences, then compressing or fusing the sentence(s) to produce a summary sentence. We conduct extensive experiments on both single- and multi-document summarization datasets and report findings on sentence selection and abstraction.

研究の動機と目的

• 要約生成における文の選択と文の統合のギャップを埋めるために、文のシングルレットとペアを同時にランク付けするフレームワークを提案すること。
• 人間の要約行動をモデル化すること。具体的には、内容がしばしば1〜2文から抽出され、それらが要約文に圧縮または統合されることを模倣すること。
• 内容選択と生成を分離することで、顕著な内容の保持を向上させ、要約生成における制御性を高めること。
• シングルレットとペアの選択が、特に抽象化と事実の整合性に関して、要約モデルの性能に与える影響を調査すること。
• 低リソースまたはドメイン特化された要約設定に適した柔軟でデータ効率の良いアプローチを提供すること。

提案手法

• フレームワークは、ニューラル表現（例：BERT）と従来のベクトル空間モデルを用い、文のシングルレットとペアを共有の埋め込み空間に符号化する。
• 学習されたスコアリング関数を用いて、各シングルレットとペアが高品質な要約文を生成する可能性の高さをスコア化する。
• 抽出的要約は、上位スコアのシングルレットとペアを連結することで生成され、抽象的要約は、選択されたシングルレットとペアからポインタジェネレータネットワークを用いてデコードすることで構築される。
• 本手法は単一文書および複数文書要約をサポートし、圧縮（シングルレット）と統合（ペア）のメカニズムを制御的に分析可能である。
• BERTの埋め込みとTF-IDFおよびその他のスパース特徴を組み合わせた混合表現戦略を採用し、スコアリングのロバスト性を向上させる。
• DUC-04、CNN/Daily Mail、XSumのデータセットでROUGEスコア（R-1、R-2、R-L、R-SU4）を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 人間が書いた要約は、どの程度1文の圧縮と2文の統合に依存しているか？
• RQ2 シングルレットではなくペアを選択することで、抽象的要約モデルの性能にどの程度の影響を与えるか？
• RQ3 シングルレットとペアのスコアリングを統合したフレームワークは、抽出的および抽象的要約の品質向上に寄与するか？
• RQ4 ソース文が文書内でどの位置にあるかが、その圧縮または統合の選択確率に与える影響は？
• RQ5 内容選択と生成を分離することで、抽象的モデルにおける抽象化の向上と幻覚の低減が達成できるか？

主な発見

• DUC-04、CNN/Daily Mail、XSumの全データセットにおいて、要約文の60–85％が1〜2個のソース文の統合によって生成されており、人間の戦略として統合が優勢であることが示された。
• BERTベースの抽出的モデル（BERT-Extr）は、DUC-04およびCNN/DMで抽象的モデルを上回り、現在の抽象的モデルが内容保持に苦労していることを示唆している。
• XSumでは抽象的モデルが抽出的モデルを上回り、高抽象度のタスクでは生成モデルの利点が顕著に現れている。
• 文のペアの過剰な選択（例：CNN/DMで76.9％、DUC-04で100％）は、抽象的性能の低下と相関しており、現在のモデルが統合にあまり効果的でないことを示唆している。
• 人間が書いた要約の最初の文は、複数のソース文の統合である可能性が著しく高く、統合が要約全体の概要を生成する際に使われていることが示された。
• XSumでは、ソース文が分散しているため、シングルレットおよびペアの選択がより困難であり、特にペアの選択において挑戦が大きい。