[論文レビュー] Mutual Information Alleviates Hallucinations in Abstractive Summarization

Liam van der Poel, Ryan Cotterell+1 more|arXiv (Cornell University)|Oct 24, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、モデルの不確実性（条件付きエントロピーで測定）が高くなった際に、元のトークンとターゲットトークン間のポイントワイズ相互情報量（PMI）最適化に切り替えるデコード戦略であるCPMIを提案する。この戦略により、抽象的要約生成における幻覚を低減する。CPMIは幻覚的トークンの確率を低下させる一方で、XSUMにおけるROUGEおよびBERTSスコアを高い水準に維持する。PMIを単独で使用する場合と比較すると、ROUGE-Lスコアの低下は0.977%にとどまるが、3.13%の低下が生じる。

ABSTRACT

Despite significant progress in the quality of language generated from abstractive summarization models, these models still exhibit the tendency to hallucinate, i.e., output content not supported by the source document. A number of works have tried to fix--or at least uncover the source of--the problem with limited success. In this paper, we identify a simple criterion under which models are significantly more likely to assign more probability to hallucinated content during generation: high model uncertainty. This finding offers a potential explanation for hallucinations: models default to favoring text with high marginal probability, i.e., high-frequency occurrences in the training set, when uncertain about a continuation. It also motivates possible routes for real-time intervention during decoding to prevent such hallucinations. We propose a decoding strategy that switches to optimizing for pointwise mutual information of the source and target token--rather than purely the probability of the target token--when the model exhibits uncertainty. Experiments on the XSum dataset show that our method decreases the probability of hallucinated tokens while maintaining the Rouge and BertS scores of top-performing decoding strategies.

研究の動機と目的

• 生成中の幻覚が生じる兆候を特定する信号を同定すること。
• 自己回帰的テキスト生成における幻覚という根幹的な問題に取り組むこと。幻覚は事実の整合性を損なう。
• 生成品質を維持しながら不実な内容を低減する、リアルタイムのデコード干渉手法を提案すること。
• 高モデル不確実性（条件付きエントロピー）が幻覚の発生と相関することを検証すること。

提案手法

• 本手法は、次トークン予測の条件付きエントロピーを用いてモデルの不確実性を定量化する。
• 不確実性がしきい値を超えた場合に、標準的な対数尤度から、元の文書とターゲットトークン間のポイントワイズ相互情報量（PMI）に切り替える条件付きデコード戦略、CPMIを導入する。
• CPMIは、PMI(y; x) = log p(y|x) - log p(y) を最適化することで、高不確実性時の生成において、元の文書に関連するトークンを優先する。
• エントロピーに応じて目的関数を切り替える動的スコア関数を用いたビームサーチを採用する。
• XSUMデータセットに人為的にアノテートされた幻覚スパンを適用し、事実性と文の自然さへの影響を評価する。
• ROUGE、BERTS、FACTScore、FactCCのメトリクスを用いて、品質と忠実性を評価する。

実験結果

リサーチクエスチョン

• RQ1 抽象的要約生成において、幻覚的コンテンツが生成される直前に、高条件付きエントロピーといった測定可能な信号が観察されるか？
• RQ2 高不確実性段階でデコードの目的関数をPMIに切り替えることで、不実なトークンの生成確率を低減できるか？
• RQ3 提案されたCPMIデコード戦略は、事実性を向上させつつ、高いROUGEおよびBERTSスコアを維持できるか？
• RQ4 CPMIにおける幻覚的トークンは、標準的な対数尤度スコアと比較して、どのように順位付けられ、スコアが評価されるか？

主な発見

• 高条件付きエントロピーは、幻覚的トークン列の開始と強く相関しており、BARTS2Sでは最初の幻覚的トークンの平均エントロピーが4.197±0.065（非幻覚的トークンは3.689±0.021）である。
• CPMIでは、幻覚的トークンが顕著に低いスコアと悪い順位を得る。特に、不実なスパンの開始時において顕著で、BARTS2Sの初期幻覚ではスコア低下が−0.13±0.03に達する。
• CPMIデコード戦略では、ROUGE-Lスコアの低下がわずか0.977%にとどまるが、PMIを唯一の目的関数として使用する場合と比較すると、3.13%の低下が生じる。
• 事実性メトリクスであるFACTScoreはCPMIで向上し、忠実性の向上を示す。一方、FactCCはCNN/DMとのドメイン不一致のため低下する。
• BERTSスコアが安定し、モデル全体で性能劣化が最小限に抑えられていることから、文の自然さは維持されている。
• しきい値を適切に選べば、非幻覚的トークンへの影響は最小限に抑えられ、切り替えが選択的かつ安全であることが示唆される。