[論文レビュー] Evaluating the Factual Consistency of Abstractive Text Summarization

Wojciech Kryściński, Bryan McCann+2 more|arXiv (Cornell University)|Oct 28, 2019

Topic Modeling被引用数 4

ひとこと要約

本稿では、元文書のルールベース変換により訓練データを生成することで、要約の事実整合性を評価する弱教師あり、BERTベースのモデルを提案する。モデルは一貫性の予測、元文書からの支援スパン抽出、要約内の不一致スパン同定を共同で行い、強い教師ありベースラインを上回り、説明可能なスパン強調を通じて人間の支援的役割を果たすことを示した。

ABSTRACT

Currently used metrics for assessing summarization algorithms do not account for whether summaries are factually consistent with source documents. We propose a weakly-supervised, model-based approach for verifying factual consistency and identifying conflicts between source documents and a generated summary. Training data is generated by applying a series of rule-based transformations to the sentences of source documents. The factual consistency model is then trained jointly for three tasks: 1) identify whether sentences remain factually consistent after transformation, 2) extract a span in the source documents to support the consistency prediction, 3) extract a span in the summary sentence that is inconsistent if one exists. Transferring this model to summaries generated by several state-of-the art models reveals that this highly scalable approach substantially outperforms previous models, including those trained with strong supervision using standard datasets for natural language inference and fact checking. Additionally, human evaluation shows that the auxiliary span extraction tasks provide useful assistance in the process of verifying factual consistency.

研究の動機と目的

• 要約の事実整合性を検証するのを支援する評価プロトコルの不足に対処すること。
• 出力要約と元文書の間の事実的不一致を検出するスケーラブルで弱教師ありの手法を開発すること。
• 元文書および要約の説明可能なスパン抽出を組み込むことで、事実整合性評価を改善すること。
• モデルが生成する強調表示が人間のアノテーターが事実整合性を検証するのを支援することを示すこと。

提案手法

• 訓練データは、元文書の文にルールベース変換を適用することで合成され、事実的不一致を模擬する。
• マルチタスクBERTベースのモデルを、事実整合性の予測、元文書からの支援スパン抽出、要約内の不一致スパン同定を実行するように訓練する。
• 最先端の要約モデルの誤差解析から得られる弱教師ありデータを用い、高価な人間アノテーションによる entailment や事実確認データセットへの依存を回避する。
• スパン抽出部は一貫性予測と同時に訓練され、意思決定の説明可能な根拠を提供する。
• モデルは要約出力でファインチューニングされ、人間によるアノテーションと自動指標を用いて評価される。
• 人間による評価では、モデルが提供する強調表示の有無を比較し、アノテーション速度とアノテーター間整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 合成データに基づく弱教師ありアプローチが、NLI や事実確認データセットからの強い教師ありで訓練されたモデルを上回ることができるか？
• RQ2 説明可能なスパン予測が、人間の事実整合性検証におけるパフォーマンスをどの程度向上させるか？
• RQ3 モデルは、要約内の一致するのと不一致する主張の両方をどの程度効果的に特定できるか？
• RQ4 モデルが生成する強調表示が、人間のアノテーションの効率性と信頼性にどのような影響を与えるか？

主な発見

• FactCCX モデルは、NLI や事実確認データセットからの強い教師ありで訓練されたベースラインを、事実整合性検出の面で上回った。
• モデルが生成する強調表示の支援を受けることで、人間のアノテーターは事実整合性タスクを21%早く完了した。
• モデルが提供する強調表示を用いた際、アノテーター間整合性（Fleiss’ κ）は38%向上し、アノテーションの信頼性が向上したことが示された。
• モデルは、元文書の関連スパンを65.33%の正確さで、要約のスパンを65.66%の正確さで強調した。
• スパンオーバーラップのF1スコアは、元文書で0.6207、要約で0.6650に達し、人間アノテーションのスパンと強い一致を示した。
• 人間による評価では、補助的なスパン抽出タスクが事実整合性の検証を著しく支援することが確認された。