[論文レビュー] Reducing Quantity Hallucinations in Abstractive Summarization

Zheng Zhao, Shay B. Cohen+1 more|arXiv (Cornell University)|Sep 28, 2020

Topic Modeling参考文献 37被引用数 8

ひとこと要約

この論文では、生成された要約内の数量的エンティティ（日付、数字、通貨価値など）を元のテキストと照合することで、抽出的要約における事実の捏造を低減するシステムHermanを提案する。数量的エンティティが事実として裏付けられている要約を再ランク付けすることで、ROUGEの精度とF1スコアを向上させつつ、リCALLの損失を最小限に抑え、人間評価でも元の要約よりも再ランク付けされた要約を好む傾向が示された。

ABSTRACT

It is well-known that abstractive summaries are subject to hallucination---including material that is not supported by the original text. While summaries can be made hallucination-free by limiting them to general phrases, such summaries would fail to be very informative. Alternatively, one can try to avoid hallucinations by verifying that any specific entities in the summary appear in the original text in a similar context. This is the approach taken by our system, Herman. The system learns to recognize and verify quantity entities (dates, numbers, sums of money, etc.) in a beam-worth of abstractive summaries produced by state-of-the-art models, in order to up-rank those summaries whose quantity terms are supported by the original text. Experimental results demonstrate that the ROUGE scores of such up-ranked summaries have a higher Precision than summaries that have not been up-ranked, without a comparable loss in Recall, resulting in higher F$_1$. Preliminary human evaluation of up-ranked vs. original summaries shows people's preference for the former.

研究の動機と目的

• 抽象的要約における事実の捏造、特に日付、数字、通貨価値などの数量的エンティティを解消すること。
• 情報量や文の流れを損なわせることなく、要約の事実的一致性を向上させること。
• 候補要約のビームから、数量的エンティティが検証された要約を選択する再ランク付けシステムを開発すること。
• 検証済みの要約が人間評価者によってより忠実であると感じられるかどうかを評価すること。
• XSumのような現在のデータセットが、要約の数量的事実の一貫性を検証するためにどの程度制限を受けるかを調査すること。

提案手法

• Hermanは弱教師付きアプローチを用いて、抽象的モデルが生成した候補要約内の数量的エンティティを特定・検証する。
• 訓練データは、要約内の数量的エンティティを元のテキストからの同種のエンティティに置き換えることで自動的に生成される。
• 検証モデルは、要約内の各数量的エンティティが元のテキストに類似するエンティティによって裏付けられているかどうかを確認する。
• 数量的エンティティの検証数に基づいて要約を再ランク付けし、事実的一致性が高いものを優先する。
• 本手法は事後処理として適用されるため、ビーム候補を出力するあらゆる抽象的要約モデルと互換性がある。
• 人間評価ではQualtricsベースのアンケートを用い、数量の正確性に基づいてより忠実な要約を選ぶように参加者に依頼し、比較のため数量を強調表示する。

実験結果

リサーチクエスチョン

• RQ1 事後的な再ランク付けシステムは、要約全体の品質を損なわせることなく、抽象的要約における捏造された数量を低減できるか？
• RQ2 人間評価者は、検証済みの数量的エンティティを含む要約を、捏造されたものよりもどれほど好むか？
• RQ3 数量的エンティティの事実的一致性は、ROUGEスコア（特に精度とF1）にどの程度影響を与えるか？
• RQ4 XSumのような現在のデータセットは、要約の事実の一貫性を検証するためにどの程度制限を受けるか？
• RQ5 数量の検証に基づく単純な再ランク付け戦略は、ベースラインのビーム選択法を上回る性能を発揮できるか？

主な発見

• Hermanが生成した再ランク付けされた要約は、元の要約よりも高いROUGE精度とF1スコアを達成しており、事実的一致性の向上が示された。
• ROUGE F1スコアの向上は主に精度の向上に起因しており、リCALLの低下はわずかであった。
• 人間評価では、3名全員が同意した19件の試行のうち12件で再ランク付けされた要約が好まれ、より高い忠実性の認識が示された。
• 参加者たちは、元の要約が完全に正確でない場合でも、元のテキストに近い数量を含む要約を好む傾向があった。
• 21件の試行のうち13件で、参加者が両方の要約を忠実でないとみなしたが、少なくとも2名は再ランク付けされたバージョンを好んだ。これは、検証プロセスが忠実さの認識を向上させていることを示唆している。
• 本システムの性能はXSumデータセットの制限によって制限を受けており、要約がしばしば記事の最初の文をそのままで再現するため、事実の検証が困難であった。