[論文レビュー] Multi-Fact Correction in Abstractive Text Summarization

Yue Dong, Shuohang Wang+4 more|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 36被引用数 5

ひとこと要約

本稿では、要約における事実的不一致を是正するための二モデル構成のツールであるSpanFactを提案する。この手法は、質問応答（QA）モデルを活用して誤りのあるエンティティをスパン選択により特定・置換することで、ROUGEスコアを損なわず事実的整合性を向上させる。複数のデータセットにおいて自動評価および人間評価の両面で顕著な向上を達成した。

ABSTRACT

Pre-trained neural abstractive summarization systems have dominated extractive strategies on news summarization performance, at least in terms of ROUGE. However, system-generated abstractive summaries often face the pitfall of factual inconsistency: generating incorrect facts with respect to the source text. To address this challenge, we propose Span-Fact, a suite of two factual correction models that leverages knowledge learned from question answering models to make corrections in system-generated summaries via span selection. Our models employ single or multi-masking strategies to either iteratively or auto-regressively replace entities in order to ensure semantic consistency w.r.t. the source text, while retaining the syntactic structure of summaries generated by abstractive summarization models. Experiments show that our models significantly boost the factual consistency of system-generated summaries without sacrificing summary quality in terms of both automatic metrics and human evaluation.

研究の動機と目的

• 高ROUGEスコアを示しても事実の幻覚を生じる要約生成モデルの事実的不一致を是正すること。
• 生成要約の文法的構造を変更せずに事実的正確性を向上させる後処理枠組みを構築すること。
• 事前学習済みの質問応答（QA）モデルの知識を活用して、要約内の誤ったエンティティを特定・置換すること。
• 是正処理が情報量と自然さを保持しつつ、元の文書への忠実性を高めること。
• 複数のベンチマークデータセットを用いて、自動評価指標と人間アノテーションの両方で手法を評価すること。

提案手法

• 本手法は二つの是正モデルを採用する：単一エンティティをマスキングし、QAを用いて段階的にエンティティを置換するQAスパンモデル、および複数マスキングを用いて逐次的にエンティティを是正する自己回帰的モデル。
• 各モデルは、マスキングされたエンティティに基づいて事前学習済みのQAモデルを用いて質問を生成し、元のテキストから文脈的に適切な置換候補を選択する。
• 是正プロセスは、元の要約の文法的構造を保持しつつ、誤ったスパン（主にエンティティ）のみを置換する。
• BertAbs、Pointer-Generator、TransformerAbsなどの最先端の要約モデルが生成した要約に対して、後処理として適用する。
• QAスパンモデルは一度に一つのエンティティをマスキングするが、自己回帰的モデルは一度の順伝播で複数のエンティティをマスキング・是正する。
• SpanFactは、元の文脈に基づいて正しいエンティティ置換の尤度を最大化するスパン選択目的関数を用いて、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 後処理是正手法は、ROUGEスコアを低下させることなく、要約の事実的整合性を向上させることができるか？
• RQ2 QAベースのスパン選択は、要約内の幻覚的エンティティを特定・置換するためにどれほど有効か？
• RQ3 自己回帰的設定におけるマルチマスキングは、反復的QAを用いたシングルマスキングを上回る性能を示すか？
• RQ4 多様な要約データセット（幻覚の程度が異なる）において、本手法はどの程度の性能を示すか？
• RQ5 人間評価者は、修正済み要約を元の要約やQAスパンバージョンよりもどれほど事実的正確性の面で好むか？

主な発見

• FactCCベンチマークにおいて、QAスパンモデルはFactCCスコアを84.89から86.08に、人間評価スコアを87.79から90.74に向上させた。
• 自己回帰的モデルは、FactCCスコアを84.89から85.96に、人間評価スコアを87.79から90.35に向上させた。
• CNN/DailyMailデータセットにおいて、QAスパンモデルは手動評価で62個の誤ったエンティティのうち18個を是正し、自己回帰的モデルは同16個を是正した。
• 人間評価では、31.3％のペア比較で自己回帰的モデルで是正された要約が元の要約よりも好まれ、BertAbsバージョンと比較して38％が好まれた。
• XSumでは、元の要約に高い幻覚率が見られたため、シングルマスキングでは信頼性が低かったが、自己回帰的モデルがQAスパンモデルを上回った。
• FactCCデータセットでは、446個の正しくラベル付けされた文のうち、誤ったエンティティの変更が3～4件にとどまり、是正の正確性が非常に高かった。