[論文レビュー] On Hallucination and Predictive Uncertainty in Conditional Language Generation

Yijun Xiao, William Yang Wang|arXiv (Cornell University)|Mar 28, 2021

Multimodal Machine Learning Applications参考文献 34被引用数 16

ひとこと要約

本稿は、条件付き自然言語生成における幻覚と予測不確実性の関係を調査し、デコード中にエピステミック不確実性をペナルティ化することで幻覚を低減する不確実性対応ビームサーチ（UABS）を提案する。結果から、高いエピステミック不確実性は幻覚と強く相関しており、標準的なビームサーチと比較して、生成品質と事実整合性のトレードオフをより良く達成していることが示された。

ABSTRACT

Despite improvements in performances on different natural language generation tasks, deep neural models are prone to hallucinating facts that are incorrect or nonexistent. Different hypotheses are proposed and examined separately for different tasks, but no systematic explanations are available across these tasks. In this study, we draw connections between hallucinations and predictive uncertainty in conditional language generation. We investigate their relationship in both image captioning and data-to-text generation and propose a simple extension to beam search to reduce hallucination. Our analysis shows that higher predictive uncertainty corresponds to a higher chance of hallucination. Epistemic uncertainty is more indicative of hallucination than aleatoric or total uncertainties. It helps to achieve better results of trading performance in standard metric for less hallucination with the proposed beam search variant.

研究の動機と目的

• 画像キャプション作成やデータ対テキスト生成などの条件付きNLGタスクにおいて、幻覚と予測不確実性の関係を調査すること。
• 不確実性の定量化が、多様なNLGタスクにおいて幻覚を統一的に説明できるかを検証すること。
• ビームサーチに不確実性推定値を組み込むことで幻覚を低減するデコード手法を開発すること。
• 不確実性の分解（エピステミック vs. アレアトリック）が、性能と事実整合性のトレードオフを改善するかを評価すること。

提案手法

• 著者らは、トークン確率分布のエントロピーを用いて予測不確実性をモデル化し、ベイジアンニューラルネットワークを用いてエピステミック成分とアレアトリック成分に分解する。
• 予測不確実性に基づいたペナルティ項をスコア関数に追加することで、スコアを調整する不確実性対応ビームサーチ（UABS）を提案する。
• ペナルティは、合計不確実性、エピステミック不確実性、またはアレアトリック不確実性のいずれかに適用され、低不確実性で信頼性の高い生成を促進することを目的とする。
• UABSは、標準的な指標とタスク固有のヒューリスティクスを用いた幻覚検出を用いて、画像キャプション作成およびデータ対テキスト生成のベンチマークで評価される。
• エピステミック不確実性はモンテカルロドロップアウトを用いて推定され、アレアトリック不確実性は複数回の順方向伝搬における予測の分散から導出される。
• 生成品質（例：BLEU、ROUGE）と幻覚率の比較を通じて、異なる不確実性ペナルティの下での性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 異なる条件付きNLGタスクにおいて、予測不確実性と幻覚の間に一貫した関係があるか？
• RQ2 幻覚を予測するのに最も有効な不確実性タイプは、エピステミック、アレアトリック、または合計不確実性のどれか？
• RQ3 不確実性をビームサーチデコードに組み込むことで、生成品質を著しく損なわずに幻覚を効果的に低減できるか？
• RQ4 不確実性の分解により、NLGにおける性能と事実整合性のトレードオフをより良く調整できるか？

主な発見

• 特にエピステミック不確実性が高い場合、生成テキストにおける幻覚の発生確率が顕著に高くなる。
• デコード中にエピステミック不確実性をペナルティ化することで、アレアトリックまたは合計不確実性をペナルティ化した場合と比較して、幻覚率が顕著に低減される。
• 提案された不確実性対応ビームサーチ（UABS）は、標準的なビームサーチと比較して、標準的な生成指標と幻覚低減の両面でより良いトレードオフを達成する。
• UABSは、特にエピステミック不確実性をペナルティ化した場合、短いがより自信があり事実に整合性のある出力を生成する。
• 結果から、エピステミック不確実性はアレアトリック不確実性よりも幻覚の指標としてより信頼性が高く、入力コンテキストに関するモデルの不確実性を反映していることが示唆される。