[论文解读] Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging

Joel Jang, Seungone Kim+7 more|arXiv (Cornell University)|Oct 17, 2023

Topic Modeling被引用 6

一句话总结

本文提出 Personalized Soups，一种事后参数融合方法，通过多目标强化学习（MORL）实现大型语言模型（LLMs）对个体用户偏好的高效个性化对齐。通过为不同偏好分别训练策略模型，并在推理时融合其参数，该方法在保持与强基线模型相当性能的同时，将计算成本从偏好数量的指数级降低至线性，实现了无需重训练即可动态整合新用户偏好的能力。

ABSTRACT

While Reinforcement Learning from Human Feedback (RLHF) aligns Large Language Models (LLMs) with general, aggregate human preferences, it is suboptimal for learning diverse, individual perspectives. In this work, we study Reinforcement Learning from Personalized Human Feedback (RLPHF) problem, wherein LLMs are aligned to multiple (sometimes conflicting) preferences by modeling alignment as a Multi-Objective Reinforcement Learning (MORL) problem. Compared to strong single-objective baselines, we show that we can achieve personalized alignment by decomposing preferences into multiple dimensions. These dimensions are defined based on personalizations that are declared as desirable by the user. In this work, we show that they can be efficiently trained independently in a distributed manner and combined effectively post-hoc through parameter merging. The code is available at https://github.com/joeljang/RLPHF.

研究动机与目标

• 解决标准 RLHF 的局限性，即其优化目标为普遍人群偏好，难以捕捉个体的、多维度的用户偏好。
• 将个性化对齐建模为多目标强化学习（MORL）问题，以实现对冲突或多样化偏好的联合优化。
• 通过解耦训练过程并支持事后的预训练策略头参数融合，降低多偏好模型训练的计算负担。
• 实现无需重训练即可动态集成新用户偏好的能力，提升模块化程度与用户控制力。

提出的方法

• 将个性化对齐建模为多目标强化学习（MORL）问题，其中每个用户期望的偏好维度被视为一个独立目标。
• 针对每个偏好维度对应的独立奖励信号，使用近端策略优化（PPO）分别训练策略模型。
• 采用事后参数融合技术——Personalized Soups，即在推理时通过凸组合方式融合多个预训练策略模型的参数。
• 融合过程在推理过程中实时执行，支持灵活组合偏好而无需重新训练。
• 该方法避免了多任务训练的需求，实现了对大量偏好的高效扩展。
• 通过简单地将新策略头与已有策略头融合，支持新偏好的动态添加，同时保持模块化特性。

Figure 1: Current RLHF only tackles general alignment while RL $\mathcal{P}$ HF is able to take into account multifaceted human preferences, thus providing a more personalized form of model-to-human alignment.

实验结果

研究问题

• RQ1 能否将 LLM 的个性化对齐有效建模为多目标强化学习（MORL）问题，以捕捉多样且可能冲突的用户偏好？
• RQ2 如何将训练和部署多套个性化偏好模型的计算成本从指数级降低至线性复杂度？
• RQ3 对独立训练的策略模型进行事后参数融合，能否实现与端到端多目标训练相当的性能？
• RQ4 当引入初始训练中未见过的新用户偏好时，该方法的可扩展性如何？
• RQ5 Personalized Soups 是否能在保持高性能的同时，实现用户对输出语气、长度和正式程度等维度的控制？

主要发现

• Personalized Soups 在性能上与强基线 Prompted-MORL（一种多目标强化学习方法）相当，同时将计算复杂度从偏好数量的指数级降低至线性。
• 该方法通过参数融合实现了高效、实时的多套个性化偏好组合，新增偏好时无需重新训练。
• 实验表明，该方法支持新用户偏好的动态集成，在训练后引入新目标时仍能保持高性能。
• 模块化设计允许对每个偏好独立训练策略模型，与联合优化相比显著降低了训练开销。
• 该方法在捕捉语气、简洁性、正式程度等细微用户特定偏好方面，优于监督微调和标准 RLHF。
• 消融实验证明，该方法在 16 种不同偏好组合下均表现出鲁棒性，验证了其在多样化偏好组合中的稳定性。

Figure 2: Reward model training with conflicting preferences.