[论文解读] Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling

Yida Mu, Peizhen Bai+2 more|arXiv (Cornell University)|May 1, 2024

Complex Network Analysis Techniques被引用 4

一句话总结

本文提出一种基于直接偏好优化（DPO）的微调方法，用于开源大语言模型（如Mistral-7B），以提升零样本主题建模中的主题粒度并减少幻觉现象。通过构建一个重建流水线，无需人工标注即可生成合成偏好信号，该方法显著降低了幻觉主题的生成，同时提升了与人类指令的一致性，在对抗性提示下实现了97%的指令遵循率和仅1%的幻觉率。

ABSTRACT

Large language models (LLMs) with their strong zero-shot topic extraction capabilities offer an alternative to probabilistic topic modelling and closed-set topic classification approaches. As zero-shot topic extractors, LLMs are expected to understand human instructions to generate relevant and non-hallucinated topics based on the given documents. However, LLM-based topic modelling approaches often face difficulties in generating topics with adherence to granularity as specified in human instructions, often resulting in many near-duplicate topics. Furthermore, methods for addressing hallucinated topics generated by LLMs have not yet been investigated. In this paper, we focus on addressing the issues of topic granularity and hallucinations for better LLM-based topic modelling. To this end, we introduce a novel approach that leverages Direct Preference Optimisation (DPO) to fine-tune open-source LLMs, such as Mistral-7B. Our approach does not rely on traditional human annotation to rank preferred answers but employs a reconstruction pipeline to modify raw topics generated by LLMs, thus enabling a fast and efficient training and inference framework. Comparative experiments show that our fine-tuning approach not only significantly improves the LLM's capability to produce more coherent, relevant, and precise topics, but also reduces the number of hallucinated topics.

研究动机与目标

• 为解决大语言模型主题建模中幻觉风险缺乏系统性研究的问题，特别是针对开源模型的幻觉风险。
• 提升主题粒度，并减少大语言模型在接收到指令时生成的近似重复或无关主题。
• 开发一种可扩展的、无需标注的微调流水线，以增强大语言模型生成与人类意图一致的连贯、相关且精确主题的能力。
• 提供一种即插即用的评估协议，用于衡量大语言模型驱动的主题建模中的主题质量。

提出的方法

• 使用直接偏好优化（DPO）对开源大语言模型（Mistral-7B）进行微调，使其输出与期望的主题特征对齐。
• 设计一种重建流水线，将原始大语言模型生成的主题转换为合成偏好对（偏好项 vs. 拒绝项），而无需依赖人工标注的排序结果。
• 利用种子主题和粒度指令作为监督信号，引导模型生成相关、无幻觉的主题。
• 通过注意力权重分析，研究微调如何减少幻觉主题信息在深层网络中的传播。
• 在由提示变体和主题一致性检查生成的合成偏好数据上进行模型训练，以提升在对抗性提示下的鲁棒性。
• 实施一种即插即用的评估框架，用于衡量不同大语言模型和提示下主题的一致性、相关性及幻觉率。

Figure 1: Four real-world examples consist of the given document (grey), user prompt (blue), and issues associated with LLM-generated topics (see legends with different colours). Examples (a) and (b) demonstrate issues with inconsistent naming; i.e., LLMs tend to generate topics with different forma

实验结果

研究问题

• RQ1 在使用大语言模型进行主题建模时，尤其是面对对抗性或复杂提示，其幻觉现象的严重程度如何？
• RQ2 种子主题和粒度指令在缓解大语言模型生成幻觉主题方面的有效性如何？
• RQ3 基于DPO的微调方法是否能在无需人工标注偏好数据的情况下，提升主题粒度并减少近似重复主题？
• RQ4 微调后的大语言模型在注意力机制中聚合幻觉主题信息的方式，与基础模型相比有何不同？
• RQ5 基于重建的流水线在主题建模中能否有效生成用于大语言模型微调的偏好信号？

主要发现

• GPT-3.5-turbo在遵循领域指令方面达到99.3%的遵循率，而未经微调的开源大语言模型（如Mistral-7B）仅达到8.6%，表明开源模型存在较高的幻觉风险。
• 所提出的TopicMistral模型在对抗性提示下将幻觉率降低至1%，远低于基础Mistral-7B模型的7%。
• TopicMistral在遵循指令约束方面达到97%的遵循率，显著优于基础Mistral-7B模型的16%遵循率。
• 注意力权重分析显示，TopicMistral减少了幻觉主题信息在深层网络中的传播，表明其对虚假预测的抑制能力更强。
• 在使用种子主题时，幻觉率进一步下降，TopicMistral在复杂提示下仍保持仅1%的幻觉率，凸显了种子主题作为缓解策略的重要性。
• TopicMistral在检测相关主题方面达到76%的真正例率，优于基础Mistral-7B模型的68%，尤其在内容缺失或无关时表现更优。

Figure 2: An example prompt used in our work: Text enclosed by the special tokens ‘ [/INST] ’ denotes the user instruction; red and blue colours denote the Granularity Description and Seed Topics, respectively.