[論文レビュー] Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward

Luyang Huang, Lingfei Wu+1 more|arXiv (Cornell University)|May 3, 2020

Topic Modeling参考文献 40被引用数 17

ひとこと要約

本論文では、二重エンコーダー（逐次的およびグラフ構造的）を用いて意味的理解を向上させ、幻覚を低減する知識グラフ拡張型の抽象的要約フレームワークであるASGARDを提案する。強化学習における意味的駆動型の複数選択型穴埋め報酬を導入し、ベースラインモデルと比較してより高いROUGEスコアと著しく少ない不正確な誤りを達成しており、人的評価でもより情報量が多く信頼性の高い要約であることが確認された。

ABSTRACT

Sequence-to-sequence models for abstractive summarization have been studied extensively, yet the generated summaries commonly suffer from fabricated content, and are often found to be near-extractive. We argue that, to address these issues, the summarizer should acquire semantic interpretation over input, e.g., via structured representation, to allow the generation of more informative summaries. In this paper, we present ASGARD, a novel framework for Abstractive Summarization with Graph-Augmentation and semantic-driven RewarD. We propose the use of dual encoders---a sequential document encoder and a graph-structured encoder---to maintain the global context and local characteristics of entities, complementing each other. We further design a reward based on a multiple choice cloze test to drive the model to better capture entity interactions. Results show that our models produce significantly higher ROUGE scores than a variant without knowledge graph as input on both New York Times and CNN/Daily Mail datasets. We also obtain better or comparable performance compared to systems that are fine-tuned from large pretrained language models. Human judges further rate our model outputs as more informative and containing fewer unfaithful errors.

研究の動機と目的

• 抽象的要約における系列変換モデルが生成する不正確でほぼ抽出的（near-extractive）な要約の問題に対処する。
• 知識グラフによる構造化された知識表現を統合することで、入力文書の意味的理解を向上させる。
• エンティティ間の相互作用とグローバルな文脈の強化による要約の幻覚と重複の低減。
• 複数選択型穴埋め質問に基づく新しい強化学習目的関数を設計し、モデルがより良好な事実的一致性に向かって誘導されるようにする。
• グラフ拡張モデルが大規模事前学習言語モデル（BART や BERTSum など）を微調整した最先端モデルと比較して、自動評価および人的評価の両方で優れた性能を示すことを実証する。

提案手法

• ドキュメント全体のエンティティとその関係を表す知識グラフを、オープン情報抽出（OpenIE）の出力から構築する。
• 二重エンコーダーを採用：局所的文脈を処理する逐次的ドキュメントエンコーダーと、グローバルなエンティティ相互作用を処理するグラフ構造のエンコーダー。
• 知識グラフの2種類のバリエーションを設計：1つはドキュメントレベルのエンティティ相互作用を捉え、もう1つは段落レベルの相互作用とトピックの変化を組み込む。
• デコード段階で両エンコーダーの出力を統合し、逐次的および関係的情報を同時に注目できるようにする。
• ペアワイズにエンティティが述語によって接続されているか、もしくは人的要約内で共起している場合に、それらをマスキングして複数選択型穴埋め報酬を定式化し、強化学習による訓練に用いる。
• 事実的一致性と情報量の両方を最適化するため、交差エントロピー損失と穴埋めベースの報酬を組み合わせてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ拡張によるエンコーディングは、標準的な系列モデルと比較して、抽象的要約の事実的一致性と情報量を向上させることができるか？
• RQ2 意味的駆動型の複数選択型穴埋め報酬は、モデルがグローバルなエンティティ相互作用を捉え、不正確な内容を低減する能力を向上させるか？
• RQ3 BART や BERTSum などの大規模事前学習言語モデルを微調整した最先端モデルと比較して、グラフ拡張モデルの性能はどの程度か？
• RQ4 ROUGE や他の自動評価指標は、要約における不正確な誤り（特に幻覚）の人的判断とどの程度相関しているか？
• RQ5 長距離エンティティ依存関係のモデリングにより、提案フレームワークは冗長性を低減し、要約の整合性を向上させられるか？

主な発見

• ASGARDモデルは、CNN/Daily Mail および New York Times データセットの両方で、知識グラフ入力を含まないバージョンと比較して顕著に高いROUGEスコアを達成した。
• グラフ拡張モデルは、知識グラフ入力のないベースラインと比較して、文脈外の誤りや削除・置換誤りを著しく低減した。
• 人的評価では、ASGARDが生成する要約は非グラフバージョンと比較して、より情報量が多く、不正確な誤りが少ないことが評価された。
• 自動評価および人的評価の両方の指標において、微調整された BART、UniLM、BERTSum モデルと同等またはそれ以上の性能を示した。
• 自動評価指標（ROUGE および穴埋めスコア）は、不正確な誤り（特に幻覚）と弱い相関を示しており、現在の指標に限界があることを示唆している。
• 幻覚誤りの多い要約は、ROUGE や穴埋めスコアで高いスコアを示す傾向があるため、現在の指標は事実的一致性の欠如を正しく検出できない可能性がある。