[論文レビュー] Abstractive Summarization of Large Document Collections Using GPT

Shutian Liu, Christopher G. Healey|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用数 7

ひとこと要約

論文は、意味的にクラスタリングして大規模な文書コレクションを要約するスケーラブルなパイプラインを提案する。チャンク化とGPTによるチャンクレベルの抽象化要約を行い、感情を考慮した可視化を行う。

ABSTRACT

This paper proposes a method of abstractive summarization designed to scale to document collections instead of individual documents. Our approach applies a combination of semantic clustering, document size reduction within topic clusters, semantic chunking of a cluster's documents, GPT-based summarization and concatenation, and a combined sentiment and text visualization of each topic to support exploratory data analysis. Statistical comparison of our results to existing state-of-the-art systems BART, BRIO, PEGASUS, and MoCa using ROGUE summary scores showed statistically equivalent performance with BART and PEGASUS on the CNN/Daily Mail test dataset, and with BART on the Gigaword test dataset. This finding is promising since we view document collection summarization as more challenging than individual document summarization. We conclude with a discussion of how issues of scale are

研究の動機と目的

• 単一文書から大規模コレクションへの抽象的要約のスケーリング課題に対処する。
• GPTの入力サイズを削減しつつ意味内容を保持するエンドツーエンドのパイプラインを開発する。
• 要約に感情分析と対話的可視化を追加して探索的データ分析を支援する。
• 標準データセットで最新の抽象的要約システムと比較してスケーラビリティと品質を評価する。

提案手法

• FAISSベースの類似性、UMAP投影、HDBSCANクラスタリングを用いて文書コレクションを意味的にクラスタリング・削減する。
• 各クラスタのトピック代表語セットを特定し代表語コレクションを構築する。
• SentenceBERT埋め込みとチェンジポイントに基づくチャンク化法でクラスタ内文を意味的チャンクに分割する。
• 各意味的チャンクをGPTのcompletion APIで要約し、チャンク要約を連結してコレクションレベルの抽象化要約を形成する。
• 各意味的チャンクに対して語彙ベースの感情分析を行い価 valenceとarousalを推定する。
• 要約と感情をインタラクティブなダッシュボードで可視化し、探索的分析を行う。

(a)

実験結果

リサーチクエスチョン

• RQ1 GPTベースの抽象的要約は単一文書から大規模コレクションへとスケールして品質を失わないのか。
• RQ2 意味的クラスタリングとチャンク化は文書ごとの要約と比較してコレクション全体の要約の一貫性と網羅性を改善するのか。
• RQ3 感情分析をどの程度効果的に統合して大規模コレクションの要約を豊かにし、探索を支援できるのか。

主な発見

• 大規模コレクションのGPTベース要約はCNN/Daily MailおよびGigawordのテストセットで最新の単一文書要約者と同等のROUGE性能を達成する。
• 意味的クラスタリングとチャンク化により、文を単位とするよりもチャンクレベルでの作業によりスケーラブルな要約が可能になる。
• この手法はトピックレベルの要約の対話的な感情認識付き可視化をサポートする。
• 既存のシステムを超える大規模コレクションへ抽象的要約を拡張する可能性を示す。

(b)