[論文レビュー] PRIMER: Pyramid-based Masked Sentence Pre-training for Multi-document Summarization.

Wen Xiao, Iz Beltagy+2 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling参考文献 31被引用数 14

ひとこと要約

PRIMER は、マルチドキュメント要約のためのピラミッドベースのマスク文事前学習モデルであり、グローバルアテンションを備えた Longformer アーキテクチャと、ドキュメントクラスタ全体における顕著な文を特定する新しいエンティティピラミッド戦略を活用している。最小限の微調整で、ゼロショット、フェイントショット、フルスパーヴァイズ設定の6つのマルチドキュメント要約データセットにおいて、最先端の性能を達成している。

ABSTRACT

Recently proposed pre-trained generation models achieve strong performance on single-document summarization benchmarks. However, most of them are pre-trained with general-purpose objectives and mainly aim to process single document inputs. In this paper, we propose PRIMER, a pre-trained model for multi-document representation with focus on summarization that reduces the need for dataset-specific architectures and large amounts of fine-tuning labeled data. Specifically, we adopt the Longformer architecture with proper input transformation and global attention to fit for multi-document inputs, and we use Gap Sentence Generation objective with a new strategy to select salient sentences for the whole cluster, called Entity Pyramid, to teach the model to select and aggregate information across a cluster of related documents. With extensive experiments on 6 multi-document summarization datasets from 3 different domains on the zero-shot, few-shot, and full-supervised settings, our model, PRIMER, outperforms current state-of-the-art models on most of these settings with large margins. Code and pre-trained models are released at this https URL

研究の動機と目的

• 限られたラベル付きデータを前提とした、マルチドキュメント要約に特化した事前学習モデルの不足に対処すること。
• データセット固有のアーキテクチャや膨大な微調整データに依存するのを軽減すること。
• 関連するドキュメントクラスタ間での情報選択と統合を改善すること。
• 複数のドキュメントにわたる顕著なコンテンツを捉えることのできる事前学習目的の開発

提案手法

• 長大なマルチドキュメント入力を効果的に処理できるように、グローバルアテンションを備えた Longformer アーキテクチャを採用する。
• マルチドキュメントクラスタを入力シーケンスとして構造化するための入力変換を適用する。
• ドキュメントクラスタから顕著な文をマスクし再構築する「ギャップ文生成」目的を導入する。
• ドキュメント全体にわたるエンティティの顕著性に基づいて、重要な文を特定・優先順位付けするエンティティピラミッド戦略を採用する。
• クラスタから重要なコンテンツを再構築するのを促進するマスク文事前学習目的を用いる。
• 下流の要約タスクでの微調整の前に、大規模なマルチドキュメントコーパス上でエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 新しいマスク文目的を備えた事前学習モデルは、多様なドメインにわたりマルチドキュメント要約の性能を向上させることができるか？
• RQ2 エンティティピラミッド戦略は、ドキュメントクラスタの顕著な文を特定するのにどの程度有効か？
• RQ3 PRIMER はゼロショット、フェイントショット、フルスパーヴァイズ設定のすべてにどの程度一般化できるか？
• RQ4 Longformer におけるグローバルアテンションの使用は、マルチドキュメント入力の表現学習を強化するか？
• RQ5 PRIMER はデータセット固有のアーキテクチャや大規模なラベル付き微調整データの必要性を軽減できるか？

主な発見

• PRIMER は、ゼロショット、フェイントショット、フルスパーヴァイズ設定の6つのマルチドキュメント要約データセットにおいて、既存の最先端モデルを上回る性能を発揮した。
• 特にリソースが限られたフェイントショットおよびゼロショットの状況において、先行手法と大きな性能差を示した。
• エンティティピラミッド戦略は、ドキュメントクラスタからの顕著な情報の特定および統合能力を顕著に向上させた。
• Longformer におけるグローバルアテンションの使用により、複数のドキュメントにわたる長距離依存関係のモデル化が効果的に行えた。
• ギャップ文生成目的の導入により、要約タスクにおける文レベルの表現学習が向上した。
• 3つの異なるドメインにわたり良好な一般化性能を示し、モデルの頑健性と転送可能性を実証した。