[論文レビュー] Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis

Li Du, Yequan Wang+5 more|arXiv (Cornell University)|Sep 11, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLMs）における幻覚の割合を統合的に定量化し、その原因要因を特定するための関連分析フレームワークを提案する。交絡要因を制御した分析により、一般的な知識の記憶、関係的推論の複雑さ、指示従いの矛盾が幻覚の主な要因であることが特定された。GPT-4は、強力な言語モデル化と人間の指示の間で矛盾が生じるため、高い幻覚率を示している。

ABSTRACT

Although demonstrating superb performance on various NLP tasks, large language models (LLMs) still suffer from the hallucination problem, which threatens the reliability of LLMs. To measure the level of hallucination of LLMs, previous works first categorize the hallucination according to the phenomenon similarity, then quantify the proportion that model outputs contain hallucinatory contents. However, such hallucination rates could easily be distorted by confounders. Moreover, such hallucination rates could not reflect the reasons for the hallucination, as similar hallucinatory phenomena may originate from different sources. To address these issues, we propose to combine the hallucination level quantification and hallucination reason investigation through an association analysis, which builds the relationship between the hallucination rate of LLMs with a set of risk factors. In this way, we are able to observe the hallucination level under each value of each risk factor, examining the contribution and statistical significance of each risk factor, meanwhile excluding the confounding effect of other factors. Additionally, by recognizing the risk factors according to a taxonomy of model capability, we reveal a set of potential deficiencies in commonsense memorization, relational reasoning, and instruction following, which may further provide guidance for the pretraining and supervised fine-tuning process of LLMs to mitigate the hallucination.

研究の動機と目的

• 交絡要因の影響を受ける既存の幻覚定量化手法の限界を是正し、原因を説明できない点を是正すること。
• 統計的関連モデルを用いて、幻覚の度合いを同時に測定し、特定のリスク要因に帰属させること。
• 一般的な知識の記憶、関係的推論、指示従いの欠陥といった、幻覚に寄与する根本的なモデル能力の欠陥を同定すること。
• 幻覚に最も脆弱なモデル能力を明らかにすることで、事前学習および微調整プロセスを支援すること。

提案手法

• 回帰に基づく関連分析を用いて、複数のリスク要因を関数として幻覚発生確率をモデル化する。
• 各リスク要因の固定レベル間で幻覚率を比較することで、交絡要因の影響を制御する。
• エンティティ頻度、関係的複雑さ、指示と言語モデル化の矛盾を含む、モデル能力の分類に基づいてリスク要因を定義する。
• 正しい出力と幻覚的出力の対数尤度差を、指示従いの正確性の代理指標として用いる。
• c-NLI や Ruletaker などの多様なタスクに本手法を適用し、異なる推論および知識タイプにおける幻覚を評価する。
• 回帰係数とp値を用いて、各リスク要因の統計的有意性と寄与度を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンティティ頻度や関係的複雑さといったリスク要因の異なる水準において、LLMsの幻覚率はどのように変化するか？
• RQ2 言語モデル化の目的と人間の指示との間の矛盾が、幻覚にどの程度寄与しているか？
• RQ3 一般的な知識の記憶、関係的推論、指示従いのうち、どのモデル能力が幻覚と最も強く関連しているか？
• RQ4 データセット構成に起因する交絡変数を制御した上で、幻覚を定量化および帰属づけることは可能か？

主な発見

• LLMsは、学習データ中に頻度が低いエンティティや関係に対して、より高い幻覚率を示しており、稀な知識の記憶が不十分であることが示唆された。
• 関係的推論タスクでは、理論数、事実数、議論数の増加に伴い幻覚率が著しく上昇する。例えば、議論数が1単位増加すると、幻覚率は1.13倍（exp(0.12)）に上昇する。
• GPT-4はU字型の幻覚パターンを示す。最先端の性能を誇るが、強力な言語モデル化と人間の指示の間の矛盾により、高い幻覚率を示した。
• 反事実的文の提示に伴う尤度の低下は、幻覚率と有意に相関しており、強力な言語モデル化が指示従いを損なう可能性を示唆している。
• GPT-4ですら、複雑な関係的推論タスク（Ruletaker）において、正しい推論と回答生成で57％の正確性にとどまっている。これは、関係的推論における継続的な課題を示している。
• 言語モデル化の目的と人間の指示との間の矛盾は、統計的に有意なリスク要因であり、GPT-4における回帰係数は0.11であった。