[論文レビュー] SKT5SciSumm -- Revisiting Extractive-Generative Approach for Multi-Document Scientific Summarization

Huy Quoc To, Liu, Ming+5 more|arXiv (Cornell University)|Feb 27, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、SPECTER埋め込みとK-meansクラスタリングを用いた抽出型要約と、微調整されたT5モデルを用いた生成型要約を組み合わせたハイブリッド抽出・生成フレームワーク、SKT5SciSummを提案する。Multi-XScienceデータセットにおいて、ROUGE-Lスコア19.88、ROUGE-LSumスコア33.23を達成し、先行手法を上回る最先端の性能を示した。

ABSTRACT

Summarization for scientific text has shown significant benefits both for the research community and human society. Given the fact that the nature of scientific text is distinctive and the input of the multi-document summarization task is substantially long, the task requires sufficient embedding generation and text truncation without losing important information. To tackle these issues, in this paper, we propose SKT5SciSumm - a hybrid framework for multi-document scientific summarization (MDSS). We leverage the Sentence-Transformer version of Scientific Paper Embeddings using Citation-Informed Transformers (SPECTER) to encode and represent textual sentences, allowing for efficient extractive summarization using k-means clustering. We employ the T5 family of models to generate abstractive summaries using extracted sentences. SKT5SciSumm achieves state-of-the-art performance on the Multi-XScience dataset. Through extensive experiments and evaluation, we showcase the benefits of our model by using less complicated models to achieve remarkable results, thereby highlighting its potential in advancing the field of multi-document summarization for scientific text.

研究の動機と目的

• 複数のソースからの長大で複雑な科学的文書を要約する課題に対処すること。
• 効果的な文の抽出と高品質な生成型要約の組み合わせにより、要約品質を向上させること。
• より単純でモジュラーなコンponentsが、科学的要約において複雑なエンドツーエンドモデルを上回ることを示すこと。
• T5モデルのサイズの違いが、科学的テキストの要約性能に与える影響を評価すること。

提案手法

• 科学的文の文脈的埋め込みを生成するために、引用情報を反映した文埋め込みモデルであるSPECTERを用いる。
• SPECTER埋め込みを用いてK-meansクラスタリングを実行し、非教師ありの方法で最も顕著な文を抽出する。
• 抽出された文を微調整したT5モデル（small, base, large, XL）で用いて、生成型要約を生成する。
• 2段階のパイプラインを採用：まずクラスタリングにより重要な文を抽出し、次にT5により自然で簡潔な要約を生成する。
• 訓練・検証・評価にMulti-XScienceデータセットを用い、主に「関連研究」セクションの生成に焦点を当てる。
• 標準的なROUGEメトリクス（R-1, R-2, R-L, R-LSum）を用いて、強力なベースラインと比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド抽出・生成アプローチは、既存の最先端モデルを上回る性能を示せるか？
• RQ2 T5モデルのサイズの選択が、科学的テキストの要約品質にどのように影響するか？
• RQ3 SPECTER埋め込みとK-meansクラスタリングを用いることで、従来の抽出型手法よりも優れた抽出性能が得られるか？
• RQ4 より単純でモジュラーなパイプラインは、より複雑なエンドツーエンドモデルに比べて優れた結果をもたらすか？

主な発見

• SKT5SciSummはMulti-XScienceデータセットで最先端の性能を達成し、ROUGE-1が37.49、ROUGE-2が8.23、ROUGE-Lが19.88、ROUGE-LSumが33.23を記録した。
• T5-largeモデルが最高のROUGEスコアを達成し、より小さなバージョンやT5-XLモデルよりも優れていた。T5-XLモデルは科学的用語の過剰な言い換えを示した。
• 抽出部部分（SPECTER + K-means）は、ROUGE-1が33.61、ROUGE-2が7.29、ROUGE-LSumが28.15を達成し、従来の抽出型手法よりROUGE-2で最低1.46%以上優れていた。
• 以前のSOTAモデルであるKGSumと比較すると、SKT5SciSummはROUGE-1を1.72%、ROUGE-2を0.74%、ROUGE-LSumを1.8%向上させた。
• アブレーションスタディの結果、SPECTER + K-means抽出器はLexRank、TextRank、LEADベースラインを著しく上回った。
• 人的評価では、T5-largeが人間が書いた科学的要約に類似した文の流れと構造を持つ要約を生成した。