[论文解读] Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data

Haoran Li, Xinyuan Zhao+7 more|arXiv (Cornell University)|May 23, 2024

Topic Modeling被引用 4

一句话总结

本文提出联邦领域特定知识迁移（FDKT），一种保护隐私的框架，利用客户端私有领域数据生成的差分隐私合成数据，使大语言模型（LLMs）能够将领域特定知识迁移至小语言模型（SLMs），而无需暴露原始数据。FDKT在多个领域中使SLMs的准确率最高提升5%，同时保持隐私预算低于10。

ABSTRACT

As large language models (LLMs) demonstrate unparalleled performance and generalization ability, LLMs are widely used and integrated into various applications. When it comes to sensitive domains, as commonly described in federated learning scenarios, directly using external LLMs on private data is strictly prohibited by stringent data security and privacy regulations. For local clients, the utilization of LLMs to improve the domain-specific small language models (SLMs), characterized by limited computational resources and domain-specific data, has attracted considerable research attention. By observing that LLMs can empower domain-specific SLMs, existing methods predominantly concentrate on leveraging the public data or LLMs to generate more data to transfer knowledge from LLMs to SLMs. However, due to the discrepancies between LLMs' generated data and clients' domain-specific data, these methods cannot yield substantial improvements in the domain-specific tasks. In this paper, we introduce a Federated Domain-specific Knowledge Transfer (FDKT) framework, which enables domain-specific knowledge transfer from LLMs to SLMs while preserving clients' data privacy. The core insight is to leverage LLMs to augment data based on domain-specific few-shot demonstrations, which are synthesized from private domain data using differential privacy. Such synthetic samples share similar data distribution with clients' private data and allow the server LLM to generate particular knowledge to improve clients' SLMs. The extensive experimental results demonstrate that the proposed FDKT framework consistently and greatly improves SLMs' task performance by around 5\% with a privacy budget of less than 10, compared to local training on private data.

研究动机与目标

• 为解决在数据稀缺、隐私敏感的领域中提升小语言模型（SLMs）性能，同时不暴露私有数据的挑战。
• 克服现有知识蒸馏方法中公共数据与客户端私有领域数据之间分布不匹配的问题。
• 在保护数据隐私和模型知识产权的前提下，实现从服务器端LLM到客户端SLM的有效知识迁移。
• 开发一种可扩展且通用的框架，适用于多种模型架构和领域特定任务。

提出的方法

• 客户端使用私有生成器从其私有领域数据生成差分隐私合成数据，确保在有限隐私预算下实现隐私保护。
• 将合成数据传输至服务器，由大语言模型（LLM）执行基于聚类的过滤，以检测并移除差分隐私引入的伪影。
• 利用清理后的合成数据在服务器端LLM上进行上下文学习的条件化，实现反映客户端领域分布的目标数据增强。
• 将增强后的数据发送回客户端，用于微调本地SLM，实现选择性知识迁移，而无需暴露原始数据。
• 该框架支持对服务器端LLM的API级访问，同时保护客户端数据和服务器模型权重。
• 该方法与模型架构无关，可广泛适用于各种LLMs和SLMs。

实验结果

研究问题

• RQ1 在确保客户端数据隐私的前提下，差分隐私生成的合成数据能否保留领域特定的分布特征？
• RQ2 所提出的过滤机制在减轻差分隐私引入的合成数据伪影方面效果如何？
• RQ3 从服务器端LLM进行知识迁移在多大程度上能提升客户端SLMs在低资源、领域特定任务上的性能？
• RQ4 在多客户端、多任务设置下，FDKT在具有多样化领域特定任务的多个客户端中的表现如何？

主要发现

• FDKT在包括Yelp Health、Shopping和AGNews在内的多个领域中，持续将SLM性能提升约5%，即使仅使用200个私有训练样本亦可实现。
• 在一对多场景中，FDKT显著缩小了领域内与领域外SLM评估之间的性能差距，证明了其在多任务泛化能力上的提升。
• 该框架在保持强隐私保障的同时，隐私预算低于10，仍能实现有效的知识迁移。
• 性能提升与服务器端LLM的能力高度相关，更强的LLM在所有评估模型（包括Mistral-7b、Llama2-7b、Llama3-8b和Qwen-14b）上均带来更优结果。
• 消融实验表明，隐私预算和增强样本数量均显著影响性能，最优增益出现在中等设置下。