[论文解读] Halo: Estimation and Reduction of Hallucinations in Open-Source Weak Large Language Models

Mohamed Elaraby, Mengyin Lu+7 more|arXiv (Cornell University)|Aug 22, 2023

Topic Modeling被引用 7

一句话总结

该论文提出HaloCheck，一种轻量级的黑盒框架，用于估计BLOOM7B等开源小型大语言模型中的幻觉严重程度，并引入知识注入与选择性教师-学生蒸馏方法以减少幻觉。结果表明，将知识注入与动态教师引导相结合可显著提升事实一致性，减少对教师模型的依赖，且在多个幻觉阈值下优于基线微调方法。

ABSTRACT

Large Language Models (LLMs) have revolutionized Natural Language Processing (NLP). Although convenient for research and practical applications, open-source LLMs with fewer parameters often suffer from severe hallucinations compared to their larger counterparts. This paper focuses on measuring and reducing hallucinations in BLOOM 7B, a representative of such weaker open-source LLMs that are publicly available for research and commercial applications. We introduce HaloCheck, a lightweight BlackBox knowledge-free framework designed to quantify the severity of hallucinations in LLMs. Additionally, we explore techniques like knowledge injection and teacher-student approaches to alleviate hallucinations in low-parameter LLMs. Our experiments effectively demonstrate the reduction of hallucinations in challenging domains for these LLMs.

研究动机与目标

• 解决当前缺乏有效、自动化指标来量化小型开源大语言模型中幻觉严重程度的问题。
• 在不依赖指令微调或昂贵人工生成提示的情况下，增强弱小大语言模型的事实知识。
• 探究更强教师模型（如GPT-4）是否能有效指导弱小大语言模型，同时将计算成本降至最低。
• 评估知识注入与教师-学生蒸馏在降低低参数模型中幻觉方面的协同效应。

提出的方法

• HaloCheck采用基于采样的黑盒方法，通过评估多次模型生成中的句子级蕴涵关系来估计幻觉严重程度。
• 知识注入通过使用WikiData中的实体摘要和三元组对BLOOM7B进行微调实现，增强特定领域的事实知识，且无需指令微调。
• 教师-学生蒸馏框架选择性地调用GPT-4处理高幻觉实例，利用自动思维链（auto-CoT）提升教师输出的推理质量。
• 该框架采用基于阈值的策略，仅在幻觉严重程度超过预设水平时触发教师参与，从而优化成本与一致性。
• 通过领域特定的NBA问答数据集评估模型一致性，幻觉严重程度通过跨生成结果的蕴涵一致性进行衡量。

Figure 1: The Halo framework is illustrated in three parts. (a) HaloCheck framework components for hallucinations estimation. (b) Knowledge injection training, which aims to reduce hallucinations by injecting abstract knowledge representations. (c) Improving student responses by stronger teacher res

实验结果

研究问题

• RQ1 如何以无需知识、自动化且高效的方式量化大语言模型中幻觉的严重程度？
• RQ2 知识注入能否在不使用指令微调的情况下提升弱小大语言模型的事实一致性？
• RQ3 更强的教师大语言模型能否提升弱小大语言模型的一致性？选择性参与是否能降低计算成本？
• RQ4 知识注入与教师-学生蒸馏如何相互作用以减少幻觉？

主要发现

• HaloCheck在估计幻觉严重程度方面优于现有黑盒指标，提供了一种快速且准确的模型一致性评估方法。
• 使用WikiData实体摘要和三元组进行知识注入显著提升了事实一致性，降低了所有阈值下的幻觉。
• 同时采用知识注入与选择性教师引导的模型优于仅使用SFT的模型，尤其在较高幻觉阈值（如0.2）下表现更优，一致性更高且对教师查询的依赖更少。
• 仅在高幻觉实例中启用教师参与的策略优于持续使用教师模型，证明了动态参与的价值。
• 即使在知识注入后，约65%的问题在0阈值下仍需教师协助，表明基础模型仍存在持续的不一致性。
• 错误的教师答案可能误导学生模型，但教师输出中引入的auto-CoT通过提供更详细的推理过程，有助于缓解此类错误。

Figure 2: (a) Illustrates the enhancement in HaloCheck based on varying the threshold across different levels of inconsistency. The $--$ lines indicate calling the teacher consistently for every question. (b) Shows the percentage of calls made to the teacher model in relation to the total number of