[論文レビュー] Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency

Xiao Wen, Giuseppe Carenini|arXiv (Cornell University)|Sep 7, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、要約にふさわしいエンティティをソースドキュメントから直接コピーできるようにすることで、抽象的要約における事実的一致性を向上させるエンティティベースのSpanCopyメカニズムを提案する。この手法は事前学習済みのシーケンス・ツー・シーケンスモデルにスムーズに統合可能であり、PEGASUSと比較してエンティティレベルの事実的一致性で平均+2.28の向上を達成するが、重要度指標への影響は最小限に抑えられる。

ABSTRACT

Despite the success of recent abstractive summarizers on automatic evaluation metrics, the generated summaries still present factual inconsistencies with the source document. In this paper, we focus on entity-level factual inconsistency, i.e. reducing the mismatched entities between the generated summaries and the source documents. We therefore propose a novel entity-based SpanCopy mechanism, and explore its extension with a Global Relevance component. Experiment results on four summarization datasets show that SpanCopy can effectively improve the entity-level factual consistency with essentially no change in the word-level and entity-level saliency. The code is available at https://github.com/Wendy-Xiao/Entity-based-SpanCopy

研究の動機と目的

• 抽象的要約におけるエンティティレベルの事実的一致性の欠如、すなわちソースドキュメントに存在しないエンティティを生成する問題に対処すること。
• 語レベルおよびエンティティレベルの重要度を低下させることなく、事実的一致性を向上させること。
• 既存の事前学習済み生成モデルに簡単に統合可能な軽量でモジュラーなソリューションを開発すること。
• 生成の前段階で要約にふさわしいエンティティを特定するためのグローバル関連性（Global Relevance）コンポーネントの有効性を検証すること。

提案手法

• 生成プロセス中に、特に名前付きエンティティを含むスパン（span）をソースドキュメントから直接コピーできるようにするSpanCopyメカニズムを導入する。
• 変換器ベースのシーケンス・ツー・シーケンスモデルに、微分可能でアテンション拡張型の生成モジュールとしてSpanCopyを統合する。
• ソースエンティティの事前分布を計算するグローバル関連性（GR）コンポーネントを設計し、要約に含めるのに最も関連性の高いエンティティを特定する。
• アテンションメカニズムを用いて生成トークンとソーススパンをアライメントさせ、ソースコンテンツと一致するエンティティの選択的コピーを可能にする。
• 標準的な目的関数を用いてエンド・ツー・エンドにモデルを訓練し、SpanCopyは生成トークンとソーススパンの間で高い正確性の一致が確認された場合にのみ有効化される。
• GRコンポーネントを用いてエンティティ関連性スコアを再重み付けし、重要度と事実的根拠の両方を満たすエンティティを優先的に生成するようにモデルを誘導する。

実験結果

リサーチクエスチョン

• RQ1 直接的なスパンコピー機構は、重要度を低下させることなく、抽象的要約におけるエンティティレベルの事実的一致性を向上させることができるか？
• RQ2 PEGASUSなどの強力なベースラインと比較して、SpanCopy機構は幻覚的エンティティの発生をどの程度効果的に低減できるか？
• RQ3 グローバル関連性コンポーネントの追加により、事実的一致性がさらに向上し、重要度は維持されるか？
• RQ4 すべての参照エンティティがソースに存在するフィルタードサブセットと比較して、現実的で完全なデータセット上での本手法の性能はいかがなものか？
• RQ5 エンティティレベルの幻覚を低減させながら、生成品質を高い水準で維持できるか？

主な発見

• SpanCopyは、PEGASUSと比較して4つのデータセット全体でエンティティレベルの事実的一致性が平均+2.28のROUGE-L F1ポイント向上し、重要度に顕著な低下は認められない。
• すべての参照エンティティがソースに存在するフィルタードデータセットでは、GRを備えたSpanCopyが、事実的一致性および重要度の両方の指標でPEGASUSを上回る。
• SpanCopy機構単体でも、オリジナルのテストセットで事実的一致性が平均+2.13の向上を達成し、ROUGE-L F1は平均-0.06の低下にとどまる。
• オリジナルデータセットではグローバル関連性コンポーネントが事実的一致性の向上に失敗している可能性が高く、非重要エンティティの過剰優先が原因と考えられるが、フィルタードサブセットでは有効である。
• 定性的な分析により、SpanCopyはCNNDMデータセットにおける『Ivan Watson』のような幻覚的エンティティを排除しており、ソースコンテンツと事実的に整合していることが確認された。
• 本手法は特に抽象度の高いデータセット（XSumなど）において顕著な効果を示し、オリジナルデータ上での事実的一致性の向上はフィルタードデータよりも顕著に大きい。