[論文レビュー] Boosting Factual Correctness of Abstractive Summarization with Knowledge Graph.

Chenguang Zhu, William Hinthorn+5 more|arXiv (Cornell University)|Mar 19, 2020

Topic Modeling被引用数 34

ひとこと要約

本稿では、入力テキストから抽出した知識グラフを統合することで事実の正確性を向上させる、事実に配慮した抽象的要約モデルFASumを提案する。神経的グラフ計算を用いて事実関係を生成プロセスに統合することで、FASumはCNN/DailyMailデータセットにおいてUniLMより1.2%、BottomUpより4.5%高い事実の正確性を達成し、最先端のモデルを著しく上回る。

ABSTRACT

A commonly observed problem with abstractive summarization is the distortion or fabrication of factual information in the article. This inconsistency between summary and original text has led to various concerns over its applicability. In this paper, we propose to boost factual correctness of summaries via the fusion of knowledge, i.e. extracted factual relations from the article. We present a Fact-Aware Summarization model, FASum. In this model, the knowledge information can be organically integrated into the summary generation process via neural graph computation and effectively improves the factual correctness. Empirical results show that FASum generates summaries with significantly higher factual correctness compared with state-of-the-art abstractive summarization systems, both under an independently trained factual correctness evaluator and human evaluation. For example, in CNN/DailyMail dataset, FASum obtains 1.2% higher fact correctness scores than UniLM and 4.5% higher than BottomUp.

研究の動機と目的

• 抽象的要約における継続的な事実の誤認（ホールーシュレーション）問題に対処すること。
• 系列モデルに依存せずに生成要約の事実の正確性を向上させること。
• 入力テキストから抽出した事実知識を構造的かつ学習可能な方法で要約プロセスに統合すること。
• 要約生成中に事実の一貫性を向上させる神経的グラフベースのメカニズムを開発すること。
• 自動評価および人間による評価を通じて、最先端の抽象的要約モデルを上回る事実の正確性を示すこと。

提案手法

• 関係抽出技術を用いて入力記事から抽出した事実関係に基づき、知識グラフを構築する。
• 事実関係がノードとエッジとしてグラフ構造にエンコードされ、エンティティとその関係が表される。
• 神経的グラフ計算を適用して、グラフ全体にわたり情報の伝搬と集約を行い、文脈表現を豊かにする。
• グラフ強化表現を、系列変換モデルのデコーダーに統合し、事実に基づいた要約生成をガイドする。
• 事実の一貫性を保つために、再構築と生成の目的関数を組み合わせて、エンド・ツー・エンドでモデルを訓練する。
• デコーディング中に関連する事実を動的に注目できるように、知識グラフアテンションメカニズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 入力テキストから抽出した構造的事実知識を統合することで、抽象的要約における事実の正確性が向上するか？
• RQ2 標準的な系列モデルと比較して、グラフベースの知識統合は事実の誤認をどれほど低減できるか？
• RQ3 自動評価および人間評価において、提案手法は最先端のモデルをどれほど事実の正確性で上回るか？
• RQ4 神経的グラフ計算の使用は、要約生成中に事実の一貫性を保つ能力を向上させるか？
• RQ5 知識グラフの統合は、ベンチマークデータセットにおける事実の正確性指標に測定可能な改善をもたらすか？

主な発見

• 独立した事実の正確性評価者を用いた結果、FASumはCNN/DailyMailデータセットにおいてUniLMより1.2%高い事実の正確性スコアを達成した。
• 同じベンチマークにおいて、FASumはBottomUpより4.5%高い事実の正確性を示し、顕著な改善が確認された。
• 人間評価により、FASumは最先端のモデルと比較して、より高い事実の一貫性を持つ要約を生成することが確認された。
• 神経的グラフ計算による知識グラフの統合は、より正確で信頼性の高い要約生成を実現した。
• モデルの性能向上は自動評価および人間評価の両方で一貫しており、その有効性が検証された。
• 入力から抽出した事実関係がデコーディング段階で効果的に活用され、誤認の低減と事実の正確性の向上が達成された。