[論文レビュー] Extractive Summarization: Limits, Compression, Generalized Model and Heuristics

Rakesh Verma, Daniel Lee|arXiv (Cornell University)|Apr 18, 2017

Topic Modeling参考文献 29被引用数 6

ひとこと要約

本稿は、ROUGE評価を用いてDUCデータセットにおける抽出要約の固有限界を調査し、人間の要約抽出要約と比較して、最適な抽出要約システムですらROUGE-1再現率が約90%を超えることはできないことを証明している。一般化要約モデルを導入し、文書の圧縮可能性を定義し、ヒューリスティクスを評価した結果、最先端のシステムは単一文書要約において理論的再現率上限の約54%にとどまっていることがわかった。

ABSTRACT

Due to its promise to alleviate information overload, text summarization has attracted the attention of many researchers. However, it has remained a serious challenge. Here, we first prove empirical limits on the recall (and F1-scores) of extractive summarizers on the DUC datasets under ROUGE evaluation for both the single-document and multi-document summarization tasks. Next we define the concept of compressibility of a document and present a new model of summarization, which generalizes existing models in the literature and integrates several dimensions of the summarization, viz., abstractive versus extractive, single versus multi-document, and syntactic versus semantic. Finally, we examine some new and existing single-document summarization algorithms in a single framework and compare with state of the art summarizers on DUC data.

研究の動機と目的

• DUCデータセットにおける抽出要約生成器の固有性能限界をROUGE評価下で特定すること。
• 異なるテキストジャンルにわたる文書の圧縮可能性の概念を定義し分析すること。
• 要約抽出／要約生成、単一／複数文書、構文的／意味的次元を統合する一般化要約モデルを構築すること。
• 統一フレームワーク内での単一文書要約のための既存および新規ヒューリスティクスの評価と比較を行うこと。
• 標準ベンチマーク上での最先端システムと理論的性能上限との差を評価すること。

提案手法

• 最適な抽出要約が最小被覆問題に同型的であることを証明し、NP完全性を確立するとともに、グリーディな対数近似法を提示する。
• ゴールスタンダードの要約抽出要約との比較において、要約性能をROUGEメトリクス（ROUGE-1、ROUGE-2、ROUGE-LCS）を用いて評価する。
• サイズベース、サイズ＋動的計画法、TF-IDF、および下位から上位への動的計画法を含む複数のヒューリスティクスを導入し、文選択のための評価を実施する。
• 一般化モデルを用いて、ニュース記事、科学論文、短編小説の各ジャンルにおける圧縮可能性を分析する。
• ヒューリスティクスに基づく要約生成器を、最先端システム（例：SynSem、KKV、TextRank、MEAD、McDonald）およびDUC 2002ベースライン（最初の100語）と比較する。
• DUC 2001およびDUC 2002データセットの両方において、すべての要約を100語に切り詰める手法を採用し、公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 人間の要約抽出要約と比較した場合、DUC 2001および2002データセットにおける抽出要約生成器の理論的再現率上限は何か？
• RQ2 ニュース、科学論文、短編小説などの異なるジャンルにおいて、文書の圧縮可能性はどのように変化するか？
• RQ3 既存の要約ヒューリスティクス（例：TF-IDF、グリーディ、下位から上位への方法）は、理論的性能上限にどの程度近づいているか？
• RQ4 最先端システムは、理論的上限および最初の100語のベースラインと比較して、ROUGE F1スコアにおいてどの程度の性能を示すか？
• RQ5 一般化要約モデルは、要約抽出／要約生成、単一／複数文書、構文的／意味的次元の要約を統合できるか？

主な発見

• DUC 2001-2002データセットにおける人間の要約抽出要約の平均ROUGE-1再現率は約90%であり、抽出要約システムの上限を示している。
• 単一文書要約において、最も優れたヒューリスティクス（下位から上位）はROUGE-1 F1スコア0.444を達成し、理論的再現率上限の約54%に相当する。
• 動的計画法アルゴリズムは最高のROUGE-1 F1（0.444）とROUGE-LCS F1（0.408）を達成し、大多数のベースラインおよび最先端システムを上回った。
• DUC 2002ベースライン（最初の100語）はROUGE-1 F1 0.462を達成し、KKV や TextRank を含む多数の高度なシステムを上回った。
• 複数文書要約においては、性能上限が顕著に低く抑えられており、最高のシステムでも理論的再現率上限の約1/3にとどまっている。
• 下位から上位のヒューリスティクスおよび動的計画法はROUGE-LCSにおいて強く、F1スコアがそれぞれ0.408を記録し、SynSem や KKV でさえもこれを上回った。