[論文レビュー] Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models

Yuji Zhang, Sha Li+6 more|arXiv (Cornell University)|Jul 10, 2024

Machine Learning in Healthcare被引用数 5

ひとこと要約

本論文は、複数の条件を含むプロンプトが一部の条件を見落とさせ、結合的幻覚を生み出す現象である knowledge overshadowing を特定し、推論時の検出と自己対照デコードによる緩和を提案する。

ABSTRACT

Hallucination is often regarded as a major impediment for using large language models (LLMs), especially for knowledge-intensive tasks. Even when the training corpus consists solely of true statements, language models still generate hallucinations in the form of amalgamations of multiple facts. We coin this phenomenon as ``knowledge overshadowing'': when we query knowledge from a language model with multiple conditions, some conditions overshadow others, leading to hallucinated outputs. This phenomenon partially stems from training data imbalance, which we verify on both pretrained models and fine-tuned models, over a wide range of LM model families and sizes.From a theoretical point of view, knowledge overshadowing can be interpreted as over-generalization of the dominant conditions (patterns). We show that the hallucination rate grows with both the imbalance ratio (between the popular and unpopular condition) and the length of dominant condition description, consistent with our derived generalization bound. Finally, we propose to utilize overshadowing conditions as a signal to catch hallucination before it is produced, along with a training-free self-contrastive decoding method to alleviate hallucination during inference. Our proposed approach showcases up to 82% F1 for hallucination anticipation and 11.2% to 39.4% hallucination control, with different models and datasets.

研究の動機と目的

• 訓練データが正しいにもかかわらず、複数の条件を含むプロンプトがなぜLLMに結合的幻覚を誘発するのかを調査する。
• データ不均衡と条件長さが、モデルファミリやサイズ全体で幻覚率にどう影響するかを特徴づける。
• 再訓練なしでオーバーシャドウを検出し幻覚を緩和する推論時の戦略を開発する。

提案手法

• knowledge overshadowing を、支配的条件 p(y|AB) ≈ p(y|A) があって、より不人気な B が無視される現象として定義する。
• 事前学習済みおよびファインチューニング済みモデルを横断する複数のタスクとモデルサイズでシャドウイングを経験的に示す。
• 不均衡比、条件の長さと幻覚率の関係を定量化する。
• NTP損失とGSNRを介してオーバーシャドウをモデルの一般化と結びつける一般化境界を導出する。
• PMIベースのオーバーシャドウ検出と検出のためのEscaping Penalty Mechanism (EPM) を提案する。
• 推論時の支配バイアスを低減する Self-Contrastive Decoding (SCD) を導入する。

実験結果

リサーチクエスチョン

• RQ1 複数の条件を含むプロンプトがモデルファミリやサイズに関係なく知識 overshadowing を生じさせるか？
• RQ2 データ不均衡と条件長さは自己回帰LLMの幻覚率にどう影響するか？
• RQ3 推論時の検出とデコード技術は再訓練要なしに overshadowing による幻覚を予測・緩和できるか？
• RQ4 overshadowing と次トークン予測における一般化境界との関連を示す理論的洞察は何か？

主な発見

• Knowledge overshadowing は複数のモデルファミリとサイズにわたって結合的幻覚を生み出す。
• 幻覚率は不均衡比が高いと増加し、より大きなモデルは相対的に幻覚率が高くなる。
• 支配的な条件の記述が長いほど幻覚率が高く、より小さなモデルでは曲線が急になる。
• トレーニング不要な overshadows 検出器は PMI シグナルを用いて anticipation データセットで最大で 82% の F1 を達成。
• Self-Contrastive Decoding はデータセットとモデル全体で幻覚率を 11.2% から 39.4% 削減する。
• 理論的な一般化境界は shadowing を GSNR および支配条件の長さと結びつける。