[论文解读] Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering

Yichi Zhang, Zhuo Chen+5 more|arXiv (Cornell University)|Nov 11, 2023

Topic Modeling被引用 5

一句话总结

该论文提出 KnowPAT，一种知识感知偏好对齐框架，通过整合领域知识图谱并学习人类对齐偏好，提升大语言模型在特定领域问答任务中的表现。该框架引入了风格偏好集与知识偏好集，并设计了一种新颖的对齐目标，在生成可靠、用户友好的回答方面优于15种基线模型，同时选择性地使用检索到的知识。

ABSTRACT

Deploying large language models (LLMs) to real scenarios for domain-specific question answering (QA) is a key thrust for LLM applications, which poses numerous challenges, especially in ensuring that responses are both accommodating to user requirements and appropriately leveraging domain-specific knowledge bases. They are the two major difficulties for LLM application as vanilla fine-tuning falls short of addressing. Combining these requirements, we conceive of them as the requirement for the model's preference to be harmoniously aligned with humans'. Thus, we introduce Knowledgeable Preference AlignmenT (KnowPAT), which constructs two kinds of preference sets to tackle the two issues. Besides, we design a new alignment objective to align the LLM preference with different human preferences uniformly, aiming to optimize LLM performance in real-world, domain-specific QA settings. Adequate experiments and comprehensive comparisons with 15 baseline methods illustrate that our KnowPAT is a superior pipeline for real-scenario domain-specific QA with LLMs.

研究动机与目标

• 为解决在真实世界特定领域问答中部署大语言模型时，生成可靠且用户友好的输出所面临的挑战。
• 克服原始微调方法在处理无关或过多知识检索方面的局限性。
• 在单一偏好对齐框架下统一用户友好响应风格与正确知识利用的需求。
• 开发一种在保留通用知识的同时，从知识图谱中获取特定领域专业知识的方法。

提出的方法

• 构建风格偏好集，以引导大语言模型生成用户友好、自然流畅的响应。
• 利用检索到的知识三元组创建知识偏好集，以实现选择性且准确的知识利用。
• 设计一种新颖的偏好对齐目标，结合风格与知识偏好，使模型生成与人类偏好对齐。
• 不仅将检索到的知识三元组作为上下文，还将其作为偏好集构建中的主动组成部分。
• 采用检索增强微调管道，使大语言模型在融合知识信号与偏好信号的提示上进行训练。
• 采用双分支损失目标，联合优化响应质量（通过奖励建模）与生成流畅度（通过PPL）。

实验结果

研究问题

• RQ1 如何使大语言模型与人类偏好对齐，以在特定领域问答中生成既可靠又用户友好的答案？
• RQ2 检索到的知识在多大程度上可被选择性使用，以避免幻觉或无关内容？
• RQ3 统一的偏好对齐框架能否有效平衡大语言模型中的风格与知识利用？
• RQ4 所提出的方法在获取特定领域专业知识的同时，如何保持通用知识能力？

主要发现

• KnowPAT 的 BLEU-1 得分为 22.56，ROUGE-1 得分为 20.28，显著优于最强基线模型。
• 消融实验表明，移除任意组件（尤其是微调、自适应加权或知识偏好集）均导致性能下降。
• 该模型保持了强大的通用知识能力，在 CMMLU 基准测试中医学领域仅略有下降，经济学领域略有提升。
• 案例研究显示，KnowPAT 能够正确忽略无关的检索知识（例如将 MAC 误认为口红），而 RRHF 等基线模型则因此被误导。
• 与标准参考答案相比，该模型生成的答案更具信息量且更自然，例如在告警中包含主机参数。
• 奖励得分为 -1.69，表明与人类偏好高度对齐，优于基线模型（得分低于 -2.0）。