[论文解读] FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment
FedPDPO 提出了一种个性化的联邦直接偏好优化框架,该框架使用基于 LoRA 的参数高效微调、一个面向客户端的显式奖励头,以及一个瓶颈适配器,在非独立同分布数据下使大型语言模型与人类偏好对齐,在领域内和跨域的联邦设置中实现了最先进的性能。
Aligning large language models (LLMs) with human preferences in federated learning (FL) is challenging due to decentralized, privacy-sensitive, and highly non-IID preference data. Direct Preference Optimization (DPO) offers an efficient alternative to reinforcement learning with human feedback (RLHF), but its direct application in FL suffers from severe performance degradation under non-IID data and limited generalization of implicit rewards. To bridge this gap, we propose FedPDPO (Federated Personalized Direct Preference Optimization), a personalized federated framework for preference alignment of LLMs. It adopts a parameter-efficient fine-tuning architecture where each client maintains a frozen pretrained LLM backbone augmented with a Low-Rank Adaptation (LoRA) adapter, enabling communication-efficient aggregation. To address non-IID heterogeneity, we devise (1) the globally shared LoRA adapter with the personalized client-specific LLM head. Moreover, we introduce (2) a personalized DPO training strategy with a client-specific explicit reward head to complement implicit rewards and further alleviate non-IID heterogeneity, and (3) a bottleneck adapter to balance global and local features. We provide theoretical analysis establishing the probabilistic foundation and soundness. Extensive experiments on multiple preference datasets demonstrate state-of-the-art performance, achieving up to 4.80% average accuracy improvements in federated intra-domain and cross-domain settings.
研究动机与目标
- 在联邦设置中解决隐私保护下的 LLM 与人类偏好对齐问题。
- 在保持通信效率的同时缓解非IID数据异质性。
- 通过个性化显式奖励提升 DPO 中隐式奖励的泛化能力。
- 在全球共享知识与本地客户端特定适应之间实现平衡。
- 在跨域设置中提供理论基础与经验验证。
提出的方法
- 使用一个冻结的预训练 LLM 主干,增加一个全球共享的 LoRA 适配器以实现通信高效的聚合。
- 将每个客户端模型分解为一个共享的 LoRA-适配主干和一个个性化的客户端特定 LLM 头。
- 引入一个客户端特定的显式奖励头,以补充 DPO(PDPO)中的隐式奖励。
- 加入瓶颈适配器,在任务头前融合并平衡全局与局部特征。
- 采用交替优化策略:在 LoRA 冻结的情况下更新个性化头部和瓶颈,随后更新 LoRA 适配器。
- 通过将隐式 DPO 边际与显式奖励边际相结合并自适应缩放来形成 PDPO 目标(Delta = Delta_ir + w_r * s * Delta_er)。
实验结果
研究问题
- RQ1如何在保护隐私、处理非IID 数据的同时利用联邦学习来使 LLM 与人类偏好对齐?
- RQ2个性化的 DPO 框架是否可以在联邦学习中提升对隐式奖励的泛化能力与鲁棒性?
- RQ3在共享一个 LoRA 适配器的同时对 LLM 头进行个性化是否可以在不牺牲性能的前提下缓解非IID 效应?
- RQ4显式的客户端特定奖励信号是否能增益隐式 DPO 奖励,从而改善跨域对齐?
- RQ5全局-局部特征融合对在联邦 LLM 对齐中平衡共享信息与本地信息有何影响?
主要发现
- 在域内设置中,FedPDPO 相较于强基线实现最高可达 4.80 个百分点的平均准确率提升。
- 在跨域设置中,FedPDPO 达到平均准确率 73.44%(以 Table 2 的 TinyLlama-1.1B 为例),并且相较基线提升,例如平均提升 2.83 个百分点。
- 基于 DPO 的方法在域内和跨域的联邦学习情境中通常优于基于 PPO 的对比方法。
- 消融实验显示显式奖励头至关重要;移除它会导致显著的准确率下降,而瓶颈适配器提供了有益的特征融合。
- 在多个数据集(IMDB 和 Code-Vulnerability-Security)及不同分区下,FedPDPO 展现出更快的收敛速度与在非 IID 条件下更强的鲁棒性。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。