[論文レビュー] Planning with Learned Entity Prompts for Abstractive Summarization

Shashi Narayan, Yao Zhao+4 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling被引用数 5

ひとこと要約

本稿では、要約のエンティティチェーン（要約からのエンティティ、日付、数値の順序付き列）を最初に生成させることで、抽象的要約の品質を向上させるFrostという手法を提案する。推論時、学習済みエンティティチェーンをデコーダーにプロンプトとして与えることで、XSumおよびSAMSumで最先端のROUGEスコアを達成し、エンティティの特異性と計画性が向上し、エンティティプロンプトの変更による誤報の効果的制御が可能になる。

ABSTRACT

We introduce a simple but flexible mechanism to learn an intermediate plan to ground the generation of abstractive summaries. Specifically, we prepend (or prompt) target summaries with entity chains -- ordered sequences of entities mentioned in the summary. Transformer-based sequence-to-sequence models are then trained to generate the entity chain and then continue generating the summary conditioned on the entity chain and the input. We experimented with both pretraining and finetuning with this content planning objective. When evaluated on CNN/DailyMail, XSum, SAMSum and BillSum, we demonstrate empirically that the grounded generation with the planning objective improves entity specificity and planning in summaries for all datasets, and achieves state-of-the-art performance on XSum and SAMSum in terms of Rouge. Moreover, we demonstrate empirically that planning with entity chains provides a mechanism to control hallucinations in abstractive summaries. By prompting the decoder with a modified content plan that drops hallucinated entities, we outperform state-of-the-art approaches for faithfulness when evaluated automatically and by humans.

研究の動機と目的

• 神経的抽象的要約モデルにおけるコンテンツ計画と根拠の欠如が、しばしば誤報を引き起こすという問題に対処すること。
• 参照要約から抽出したエンティティチェーンを用いた中間的計画ステップを導入することで、要約の品質を向上させること。
• 誤報されたエンティティをドロップするためのエンティティプロンプトの変更によって、制御可能で忠実性に基づいた要約を実現すること。
• アーキテクチャの変更や外部システムを一切用いずに、事前学習および微調整にスムーズにコンテンツ計画を統合すること。
• エンティティレベルの計画が、多様な要約データセットにおいて要約の品質と制御性の両方を向上させることを実証すること。

提案手法

• 訓練時、ターゲット要約の前に、自動抽出されたエンティティチェーン（固有表現、日付、数値の順序付き列）を追加する。
• エンコーダ・デコーダ型のTransformerベースモデルを訓練し、まずエンティティチェーンを生成し、その後に入力およびエンティティチェーンを条件として要約を生成させる。
• 自己教師あり事前学習および教師あり微調整の両方の文脈で本手法を適用し、マスクされた文を用いて再構成のためのエンティティチェーンを生成する。
• 推論時、エンティティチェーンをデコーダーのプロンプトとして使用することで、内容の焦点と誤報の緩和を制御可能にする。
• 予測されたエンティティチェーンから、ソースドキュメントに存在するエンティティのみを保持する「ドロッププロンプト」機構を実装し、忠実性を向上させる。
• デコーダーにプロンプトを与える（Frost）と、入力にエンコードする方法（例：Pegasus、CTRLsum）を比較し、デコーダープロンプトによる性能が優れていることを示す。

実験結果

リサーチクエスチョン

• RQ1 中間的計画ステップとしてエンティティチェーンの生成を学習させることで、抽象的要約の品質と根拠の強化が図れるか？
• RQ2 事前学習および微調整時にエンティティチェーン予測を組み込むことで、多様なデータセットでROUGEスコアおよびエンティティレベルの指標が向上するか？
• RQ3 エンティティチェーンプロンプティングをプロンプトの変更によって誤報の制御に効果的に応用できるか？
• RQ4 デコーダーにプロンプトを与える内容計画（Frost）と、入力にエンコードする制御手法（例：CTRLsum、GSum）とを比較した場合、要約の品質と忠実性においてどちらが優れているか？
• RQ5 Frostは、再トレーニングを伴わずにエンティティプロンプトを操作することで、多様でスタイル制御可能な要約をどの程度実現できるか？

主な発見

• Frostは、XSum（ROUGE-1: 61.85, ROUGE-2: 38.95, ROUGE-L: 59.00）およびSAMSumで最先端のROUGEスコアを達成し、Pegasusや他のベースラインを上回る。
• CNN/DailyMailでは、標準的な微調整と比較して、Frostはエンティティ特異性と計画性の指標が向上し、ROUGEスコアは競争力を持つ。
• 誤報されたエンティティを予測されたエンティティチェーンから除外する「ドロッププロンプト」機構により、忠実性が向上し、自動評価および人的評価の両方で最先端のアプローチを上回る。
• Frostモデルは、Pegasus（68.65トークン）やCTRLSum（74.46トークン）と比較して、平均60.70トークンのより簡潔な要約を生成しており、計画性と焦点の向上を示している。
• デコーダーにエンティティチェーンをプロンプトとして与える（Frost）ことで、XSumにおける要約レベルのROUGEおよびエンティティレベルの指標で、CTRLsum や Pegasus の変種よりも優れた性能を示した。
• Frostは、再トレーニングを伴わずにエンティティプロンプトを操作することで、要約のトピック的多様性やスタイル制御を効果的に可能にする。