[論文レビュー] Halo: Estimation and Reduction of Hallucinations in Open-Source Weak Large Language Models

Mohamed Elaraby, Mengyin Lu+7 more|arXiv (Cornell University)|Aug 22, 2023

Topic Modeling被引用数 7

ひとこと要約

この論文では、BLOOM7B などのオープンソース小規模 LLM における幻覚の深刻度を推定する軽量な BlackBox フレームワークである HaloCheck を提案する。知識インジェクションと選択的教師-生徒 distillation の手法を導入し、幻覚を低減する。知識インジェクションと動的教師ガイドの組み合わせが、教師に依存するのを減らしながら、複数の幻覚閾値においてベースラインの微調整を上回る、事実的一致性を著しく向上させることを示している。

ABSTRACT

Large Language Models (LLMs) have revolutionized Natural Language Processing (NLP). Although convenient for research and practical applications, open-source LLMs with fewer parameters often suffer from severe hallucinations compared to their larger counterparts. This paper focuses on measuring and reducing hallucinations in BLOOM 7B, a representative of such weaker open-source LLMs that are publicly available for research and commercial applications. We introduce HaloCheck, a lightweight BlackBox knowledge-free framework designed to quantify the severity of hallucinations in LLMs. Additionally, we explore techniques like knowledge injection and teacher-student approaches to alleviate hallucinations in low-parameter LLMs. Our experiments effectively demonstrate the reduction of hallucinations in challenging domains for these LLMs.

研究の動機と目的

• 小規模でオープンソースの LLM における幻覚深刻度を定量化するための効果的で自動化されたメトリクスの欠如に対処すること。
• インstructチューニングや高価な人為的プロンプトに依存せずに、弱い LLM における事実的知識を強化すること。
• より強力な教師モデル（例：GPT-4）が、計算コストを最小限に抑えながら、弱い LLM を効果的にガイドできるかどうかを検証すること。
• 知識インジェクションと教師-生徒 distillation の相乗効果が、低パラメータ数モデルにおける幻覚低減にどのように寄与するかを評価すること。

提案手法

• HaloCheck は、複数回のモデル生成における文単位の含意関係を評価するサンプリングベースの BlackBox アプローチを用い、幻覚深刻度を推定する。
• 知識インジェクションは、WikiData からのエンティティ要約と三項対を用いた BLOOM7B の微調整によって実施され、インstructチューニングを伴わずにドメイン特化した事実的知識を強化する。
• 教師-生徒 distillation フレームワークは、幻覚深刻度が高いインスタンスに対してのみ GPT-4 を選択的に起動し、自動 CoT を用いて教師出力の推論品質を向上させる。
• フレームワークは、幻覚深刻度が事前に定義されたレベルを超えた場合にのみ教師の参加をトリガーする閾値ベースの戦略を採用し、コストと一貫性の両方を最適化する。
• モデルの一貫性は、ドメイン特化された NBA 質問-回答データセットを用いて評価され、生成間の含意ベースの合意度によって幻覚深刻度が測定される。

Figure 1: The Halo framework is illustrated in three parts. (a) HaloCheck framework components for hallucinations estimation. (b) Knowledge injection training, which aims to reduce hallucinations by injecting abstract knowledge representations. (c) Improving student responses by stronger teacher res

実験結果

リサーチクエスチョン

• RQ1 知識を前提とせず、自動的かつ効率的に LLM における幻覚の深刻度を定量化する方法は何か？
• RQ2 インstructチューニングを伴わずに、知識インジェクションが弱い LLM の事実的一致性を向上させられるか？
• RQ3 より強力な教師 LLM が弱い LLM の一貫性を向上させられ、選択的エンゲージメントによって計算コストを削減できるか？
• RQ4 知識インジェクションと教師-生徒 distillation は、どのように作用し合い、幻覚を低減するか？

主な発見

• HaloCheck は、既存の BlackBox メトリクスを上回り、モデルの一貫性を評価する高速かつ正確な方法を提供する。
• WikiData からのエンティティ要約と三項対を用いた知識インジェクションは、すべての閾値で事実的一致性を著しく向上させ、幻覚を低減する。
• 知識インジェクションと選択的教師ガイドを併用したモデルは、SFT 僅かなモデルを上回り、特に高い幻覚閾値（例：0.2）において一貫性が向上し、教師クエリへの依存が減少する。
• 教師の参加を幻覚深刻度が高いインスタンスに限定することで、常に教師を起動する場合よりも優れたパフォーマンスが得られ、動的エンゲージメントの価値を示している。
• 知識インジェクションを行っても、0 閾値では約 65% の質問が教師の支援を必要としており、ベースモデルにおける一貫性の欠如が依然として顕著である。
• 誤った教師の回答は学生モデルを誤導する可能性があるが、教師出力に自動 CoT を適用することで、より詳細な推論が提供され、こうした誤りの影響を軽減できる。

Figure 2: (a) Illustrates the enhancement in HaloCheck based on varying the threshold across different levels of inconsistency. The $--$ lines indicate calling the teacher consistently for every question. (b) Shows the percentage of calls made to the teacher model in relation to the total number of