[論文レビュー] Mind The Facts: Knowledge-Boosted Coherent Abstractive Text Summarization

Beliz Gunel, Chenguang Zhu+2 more|arXiv (Cornell University)|Jun 27, 2020

Topic Modeling参考文献 16被引用数 27

ひとこと要約

本稿では、Wikidataのエンティティ知識をTransformer-XLベースのエンコーダーデコーダー構造に統合することで、知識強化型で一貫性向上型の抽象的テキスト要約モデルを提案する。構造的で世界の知識を注入し、再帰的処理と相対的位置エンコーディングを活用することで、事実の整合性と長文の文脈的一致性が向上し、標準的なTransformerと比較してROUGEスコアが高く、事実的に正確で一貫性のある要約を生成する。

ABSTRACT

Neural models have become successful at producing abstractive summaries that are human-readable and fluent. However, these models have two critical shortcomings: they often don't respect the facts that are either included in the source article or are known to humans as commonsense knowledge, and they don't produce coherent summaries when the source article is long. In this work, we propose a novel architecture that extends Transformer encoder-decoder architecture in order to improve on these shortcomings. First, we incorporate entity-level knowledge from the Wikidata knowledge graph into the encoder-decoder architecture. Injecting structural world knowledge from Wikidata helps our abstractive summarization model to be more fact-aware. Second, we utilize the ideas used in Transformer-XL language model in our proposed encoder-decoder architecture. This helps our model with producing coherent summaries even when the source article is long. We test our model on CNN/Daily Mail summarization dataset and show improvements on ROUGE scores over the baseline Transformer model. We also include model predictions for which our model accurately conveys the facts, while the baseline Transformer model doesn't.

研究の動機と目的

• 神経的抽象的要約モデルにおける事実の整合性の欠如という問題に取り組む。これは、しばしば幻覚的または事実と異なる内容を生成する。
• 標準的なTransformerの固定シーケンス制限を克服することで、長文要約における一貫性を向上させる。
• 外部の世界知識をWikidataからエンタティの知識として統合し、要約生成時の事実認識を強化する。
• ROUGEスコアにとどまらない、人間の判断を反映する事実の正確性と一貫性の評価を実施する。
• エンティティリンキングを前処理パイプラインではなく、エンドツーエンドのコンponentとして統合することを検討する。

提案手法

• 長距離依存関係をモデル化するため、Transformer-XLにインspiredされた再帰的処理と相対的位置エンコーディングを導入した、Transformerエンコーダーデコーダー構造の拡張。
• エンティティレベルの知識をWikidataから得るために、エンティティ埋め込みをクエリ、キー、値行列に投影する、修正されたアテンションメカニズムの導入。
• 以前のセグメントからの隠れ状態を保持するため、ストップ・グラデント操作を適用し、長文シーケンスにわたる文脈の継続性を実現。
• 絶対的位置バイアスを回避するため、学習可能なパラメータ（u, v, Wk,R）を用いた相対的位置エンコーディングを適用。
• トークン埋め込みとエンティティ表現を組み合わせるハイブリッドアテンション形式を用いて、Wikidataのエンティティ埋め込みをアテンション計算に統合。
• 標準的なクロスエントロピー損失を用いてエンドツーエンドで学習させ、アテンション、知識統合、生成の同時最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Wikidataからのエンティティレベルの知識を統合することで、抽象的要約における事実の整合性が向上するか？
• RQ2 Transformer-XLの再帰的処理と相対的位置エンコーディングを適応させることで、長文要約における一貫性が向上するか？
• RQ3 特に長文の入力記事に対して、標準的なTransformerと比較して、提案モデルは事実の正確性と一貫性において優れているか？
• RQ4 ROUGEスコアは、抽象的要約における人間の判断による事実の正確性と一貫性とどの程度相関しているか？
• RQ5 パイプライン型のアプローチと比較して、エンドツーエンドでのエンティティリンキングと知識統合は、要約性能を向上させられるか？

主な発見

• 同一のハイパーパrameterを用いた場合、提案モデルはCNN/Daily MailデータセットにおいてベースラインのTransformerよりも高いROUGEスコアを達成した。
• ベースラインのTransformerが幻覚を生じるのに対し、提案モデルは事実的に正しい要約を生成しており、例えばスティーブ・マククラレンが42歳である、または元・マンチェスターユナイテッドの監督であったと誤って記述するなどの事例を回避した。
• ベースラインモデルが失敗するのに対し、提案モデルはポール・クレメンツがレアル・マドリードの監督であり、かつ元イングランド代表の監督であったことを正しく特定した。
• Transformer-XLベースのアーキテクチャ単体でも一貫性が向上し、長文の入力記事に対しても人間が読みやすい要約を生成できた。これに対して、ベースラインモデルは一貫性のない出力を生成した。
• 手動による事実チェックの結果、提案モデルはWikidataのエンティティ事実（選手の負傷履歴、監督歴など）を尊重している一方、ベースラインモデルはそうではないことが判明した。
• 本研究では、ROUGEスコアだけでは抽象的要約の評価が不十分であることが明らかになった。ROUGEスコアは抽出的戦略を好む傾向があり、事実の正確性や一貫性を効果的に捉えていない。