[論文レビュー] Improving Factual Consistency of Abstractive Summarization via Question Answering

Nan Feng, Cícero Nogueira dos Santos+8 more|arXiv (Cornell University)|May 10, 2021

Topic Modeling参考文献 24被引用数 5

ひとこと要約

本稿では、要約生成における事実的一致性を向上させるための新規手法を提案する。具体的には、効率的な自動評価指標である Quals と、訓練中に事実的一致性を最大化するための対照学習訓練目的関数 ConSeq を導入している。このアプローチにより、幻覚的生成が著しく減少し、要約ベンチマークにおける自動評価および人間評価スコアが向上した。

ABSTRACT

A commonly observed problem with the state-of-the art abstractive summarization models is that the generated summaries can be factually inconsistent with the input documents. The fact that automatic summarization may produce plausible-sounding yet inaccurate summaries is a major concern that limits its wide application. In this paper we present an approach to address factual consistency in summarization. We first propose an efficient automatic evaluation metric to measure factual consistency; next, we propose a novel learning algorithm that maximizes the proposed metric during model training. Through extensive experiments, we confirm that our method is effective in improving factual consistency and even overall quality of the summaries, as judged by both automatic metrics and human evaluation.

研究の動機と目的

• 生成要約に幻覚的または矛盾する事実が含まれるという、抽象的要約モデルにおける事実的一致性の重大な問題に対処すること。
• 訓練プロセスに統合可能な、効率的でスケーラブルな事実的一致性の自動評価指標を設計すること。
• 訓練中に事実的一致性の微分可能な代理指標を最大化することで、事実的一致性を最適化する対照学習アルゴリズム ConSeq を設計すること。
• 提案手法が要約品質を損なわず事実的一致性を向上させることを、自動指標および人間評価によって検証すること。

提案手法

• 要約と入力文書から質問-回答ペアを生成する単一の質問生成モデルを用いて、QAGSとは55倍速い簡略化された指標である Quals を提案する。
• 入力文書と要約からの回答の負の対数尤度に基づいてスコアを算出し、低いスコアがより良い事実的一致性を示す。
• 事実的一致性を訓練目的として扱い、正例（入力文書）と負例（要約）の回答尤度の差を最大化する対照学習フレームワーク ConSeq を設計する。
• REINFORCE風の訓練目的において Quals スコアを微分可能な報酬信号として統合し、事実的一致性のエンドツーエンド最適化を可能にする。
• 標準的なMLE損失と ConSeq の対照学習損失を組み合わせて要約モデルを訓練し、自然さと事実的一致性の両立を図る。
• 単一の QAGen モデルを用いて多様な質問-回答ペアを生成することで、要約内の事実的主張の広範なカバレッジを実現する。

実験結果

リサーチクエスチョン

• RQ1 訓練プロセス中に使用可能な、計算的に効率的な事実的一致性の測定指標を設計できるか？
• RQ2 提案された対照学習手法 ConSeq は、標準的な MLE 訓練と比較して、事実的一致性の向上にどの程度効果的か？
• RQ3 ConSeq を用いた事実的一致性の最適化は、自動指標および人間評価において測定可能な改善をもたらすか？
• RQ4 提案手法は、ベースラインモデルと比較して、生成要約における幻覚的生成や事実的誤りをどの程度低減するか？
• RQ5 ConSeq フレームワークは、要約を超えた他のシーケンス・ツー・シーケンスタスクにも一般化可能か？

主な発見

• 提案された Quals 指標は QAGS に比べ55倍の高速化を達成しながらも、人間評価および QAGS スコアと強い相関を維持している。
• ConSeq 訓練は事実的一致性を顕著に向上させ、BART-large モデルが生成する要約における幻覚的生成を低減した。
• 人間評価では、ConSeq を用いて生成された要約が、標準的な MLE ファインチューニングに比べて顕著に事実的一致性が高いことが示された。
• この手法は、自然さや ROUGE スコアを損なわず事実的一致性を向上させることを示しており、要約品質のバランスの取れた向上を示している。
• Quals を用いた訓練は、QAGS や FactCC といった事実的一致性指標において、より高いパフォーマンスを達成しており、本手法の有効性を裏付けている。
• Quals に基づく訓練により、誤ったエンティティの帰属や誤った主張といった一般的な事実的誤りが効果的に低減されていることが、定性的な例から明らかになった。