[論文レビュー] Planning with Entity Chains for Abstractive Summarization.

Shashi Narayan, Yao Zhao+3 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 25被引用数 16

ひとこと要約

この論文では、要約に言及されたエンティティの連鎖——要約内で登場するエンティティの連鎖——を、抽象的要約のコンテンツ計画手法として使用することを提案する。事前学習および微調整の段階で、ターゲットシーケンスにそのエンティティチェーンを追加することにより、モデルは事実の整合性と要約の簡潔さを向上させ、SAMSumおよびXSumで最先端のROUGEスコアを達成するとともに、幻覚を低減する。

ABSTRACT

Pre-trained transformer-based sequence-to-sequence models have become the go-to solution for many text generation tasks, including summarization. However, the results produced by these models tend to contain significant issues such as hallucinations and irrelevant passages. One solution to mitigate these problems is to incorporate better content planning in neural summarization. We propose to use entity chains (i.e., chains of entities mentioned in the summary) to better plan and ground the generation of abstractive summaries. In particular, we augment the target by prepending it with its entity chain. We experimented with both pre-training and finetuning with this content planning objective. When evaluated on CNN/DailyMail, SAMSum and XSum, models trained with this objective improved on entity correctness and summary conciseness, and achieved state-of-the-art performance on ROUGE for SAMSum and XSum.

研究の動機と目的

• 事前学習されたトランスフォーマーによって生成される抽象的要約における幻覚と不適切な内容の問題を解決すること。
• ニューラル抽象的要約における事実の整合性と要約の簡潔さを向上させること。
• エンティティチェーンが、シーケンス・ツー・シーケンスモデルの有効なコンテンツ計画手法として機能するかどうかを検討すること。
• エンティティチェーンの補強が、要約タスクにおける事前学習および微調整に与える影響を評価すること。

提案手法

• モデルは、要約から抽出された対応するエンティティチェーンで補強されたターゲット要約を用いて学習される。
• エンティティチェーンは、要約に登場するエンティティを特定し、一貫性のある順序に並べることで構築される。
• この手法は、事前学習段階および微調整段階の両方でエンティティチェーンの監視を統合し、生成をガイドする。
• エンティティチェーンを含む入力フォーマットを変更した、事前学習されたトランスフォーマーに基づくシーケンス・ツー・シーケンスモデルを活用する。
• モデルはエンティティチェーンに基づいた要約を生成するよう学習し、事実の整合性と一貫性が向上する。

実験結果

リサーチクエスチョン

• RQ1 エンティティチェーンは、抽象的要約における事実の正確性を向上させることができるか？
• RQ2 エンティティチェーンを統合すると、要約の簡潔さとスムーズさにどのような影響を与えるか？
• RQ3 エンティティチェーンに基づく計画は、標準ベンチマークでROUGEスコアの向上をもたらすか？
• RQ4 エンティティチェーンの監視は、CNN/DailyMail、SAMSum、XSumなどの多様な要約データセットでも性能向上をもたらすか？

主な発見

• モデルはSAMSumおよびXSumベンチマークで最先端のROUGEスコアを達成した。
• ベースラインモデルと比較して、生成された要約におけるエンティティの正確性が顕著に向上した。
• 要約はより簡潔であり、焦点が明確で、冗長性が低減していることが示された。
• CNN/DailyMail、SAMSum、XSumを含む複数のデータセットで一貫した改善が確認された。