[論文レビュー] Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search

Daniel King, Zejiang Shen+4 more|arXiv (Cornell University)|Mar 16, 2022

Topic Modeling被引用数 7

ひとこと要約

この論文では、元のテキストによって支持される可能性の高いトークンに制限をかけることで、要約の一貫性を向上させるビームサーチデコード手法であるPinocchioを提案する。注意機構、信頼度、頻度のヒューリスティクスを用いて幻覚を検出し、バックトラックすることで、追加の学習を必要とせず、最小限の流暢さの損失で2つのデータセットで一貫性を68%向上させる。

ABSTRACT

Abstractive summarization systems today produce fluent and relevant output, but often "hallucinate" statements not supported by the source text. We analyze the connection between hallucinations and training data, and find evidence that models hallucinate because they train on target summaries that are unsupported by the source. Based on our findings, we present PINOCCHIO, a new decoding method that improves the consistency of a transformer-based abstractive summarizer by constraining beam search to avoid hallucinations. Given the model states and outputs at a given step, PINOCCHIO detects likely model hallucinations based on various measures of attribution to the source text. PINOCCHIO backtracks to find more consistent output, and can opt to produce no summary at all when no consistent generation can be found. In experiments, we find that PINOCCHIO improves the consistency of generation (in terms of F1) by an average of~67% on two abstractive summarization datasets.

研究の動機と目的

• 生成された要約が元のテキストに裏付けられていない理由を、裏付けのない要約を含む学習データを分析することで解明すること。
• 銀標準の不一致を含む要約に学習されたモデルにおける幻覚の根本原因を特定すること。
• 再学習や追加モデルを必要とせず、一貫性を向上させるデコード手法を開発すること。
• 科学的概念要約のための新しい要約データセット、Scientific Concept Description (SCD) を導入すること。
• 科学文献を含む多様なドメインで手法を評価し、耐久性と一般化能力を検証すること。

提案手法

• Pinocchioは、注意分布とモデルの信頼度スコアを用いて、元のテキストによって支持されると考えられるトークン以外をフィルタリングすることで、ビームサーチを制約する。
• デコード中に各候補トークンの元テキスト支持力度を推定するために、語の頻度と注意の集中度に基づくヒューリスティクスを適用する。
• デコードステップで支持されるトークンが存在しない場合、Pinocchioは以前の状態に戻って代替の生成経路を探索する。
• 一貫性のある出力が得られない場合、完全に要約の生成を中止することができ、幻覚コンテンツを回避する。
• 再訓練やファインチューニングを必要としない、後処理的なデコード技術として動作する。
• この手法は2つの要約データセットと、60,000件のサンプルを含む新しい科学的概念記述（SCD）データセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 裏付けのない要約を含む学習データが、抽象的要約モデルにおける幻覚をどの程度促進するか？
• RQ2 再学習や外部モデルを用いずに、ビームサーチを制約することで一貫性を向上させられるか？
• RQ3 モデルが出力で高頻度n-gramを好む傾向が、幻覚とどの程度相関するか？
• RQ4 この手法は、科学的テキストを含む多様なドメインで一貫性を向上させられるか？
• RQ5 自動評価指標（例：ROUGE）は事実の一貫性とどの程度相関するか、そして誤解を招く可能性はあるか？

主な発見

• Pinocchioは、CNN/DMおよびXSUMデータセットで要約の一貫性を平均68%向上させ、流暢さへの影響は最小限にとどまる。
• 注意と信頼度のヒューリスティクスを用いて、裏付けのないトークン予測を検出し、バックトラックすることで、幻覚が顕著に減少する。
• BARTが生成する要約は、正解要約と比較してn-gram分布の裾が重くならず、高頻度でありそうなフレーズに偏っている傾向が示された。
• 抽象的要約データセットのうち、18〜24％のターゲット要約が元のテキストと一貫していないことが判明し、データ収集段階に根本的要因があると考えられる。
• 60,000件のサンプルと118,000件の論文リファレンスを含むSCDデータセットは、科学的概念要約のための挑戦的な新ベンチマークを提供する。
• Pinocchioの性能はモデル固有の設定に敏感であり、適応なしではPEGASUSのようなモデルには直接一般化されない。