[论文解读] Aligning to Thousands of Preferences via System Message Generalization

Seongyun Lee, Sue Hyun Park+2 more|arXiv (Cornell University)|May 28, 2024

Semantic Web and Ontologies被引用 4

一句话总结

本文提出了一种可扩展的范式，通过在数千种多样的系统提示上进行训练，使大型语言模型（LLMs）能够泛化以适应个体用户偏好。利用一个名为 Multifaceted Collection 的全新 192k 样本数据集，作者训练了一个名为 Janus 的 7B 参数 LLM，该模型在多个基准测试中达到最先进性能——优于 Mistral 7B、GPT-3.5，甚至 LLaMA 3 8B Instruct——同时在无需微调的情况下保持对未见用户偏好的强对齐能力。

ABSTRACT

Although humans inherently have diverse values, current large language model (LLM) alignment methods often assume that aligning LLMs with the general public's preferences is optimal. A major challenge in adopting a more individualized approach to LLM alignment is its lack of scalability, as it involves repeatedly acquiring preference data and training new reward models and LLMs for each individual's preferences. To address these challenges, we propose a new paradigm where users specify what they value most within the system message, steering the LLM's generation behavior to better align with the user's intentions. However, a naive application of such an approach is non-trivial since LLMs are typically trained on a uniform system message (e.g., "You are a helpful assistant") which limits their ability to generalize to diverse, unseen system messages. To improve this generalization, we create the Multifaceted Collection, a preference dataset with 192k combinations of values beyond generic helpfulness and harmlessness, spanning 65k user instructions. Using this dataset, we train a 7B LLM called Janus and test it on 921 prompts from 5 benchmarks (AlpacaEval 2.0, FLASK, Koala, MT-Bench, and Self-Instruct) by adding various unseen system messages that reflect user preferences. Janus achieves tie+win rate of 75.2%, 72.4%, and 66.4% against Mistral 7B Instruct v0.2, GPT-3.5 Turbo, and GPT-4, respectively. Unexpectedly, on three benchmarks focused on response helpfulness (AlpacaEval 2.0, MT-Bench, Arena Hard Auto v0.1), Janus also outperforms LLaMA 3 8B Instruct by a +4.0%, +0.1%, +3.0% margin, underscoring that training with a vast array of system messages could also enhance alignment to the general public's preference as well. Our code, dataset, benchmark, and models are available at https://github.com/kaistAI/Janus.

研究动机与目标

• 解决个性化 LLM 对齐中的可扩展性挑战，即为每位用户的偏好重新训练在计算上不可行。
• 克服开源 LLM 在泛化到未见系统提示时的局限性，因其在单一统一的系统提示上进行训练。
• 开发一种方法，使 LLM 能够通过系统提示提示在推理时适应个性化偏好，从而无需重新训练。
• 证明在多样化系统提示上进行训练不仅能提升个性化，还能增强与公共偏好的一般对齐。

提出的方法

• 构建 Multifaceted Collection，一个包含 192k 个唯一系统提示-指令-响应三元组的偏好数据集，涵盖 65k 个不同的指令。
• 从五个现有数据集中获取指令，并使用 GPT-4-Turbo 生成反映多方面人类偏好的多样化系统提示和参考响应。
• 使用指令微调在 Multifaceted Collection 上训练一个 7B 参数 LLM（Janus），以实现在推理时对未见系统提示的泛化能力。
• 通过在提示中注入多样化且未见过的系统提示，在五个基准测试（AlpacaEval 2.0、FLASK、Koala、MT-Bench、Self-Instruct）中评估 Janus。
• 使用经人工验证的高质量系统提示和响应，训练和评估前已过滤掉低质量样本。
• 通过成对人工评估和基于 GPT-4 的自动评分，验证在多个偏好维度上的性能表现。

Figure 1: Previous LLMs are trained with homogeneous system messages reflecting general helpfulness and harmlessness. We propose training LLMs with diverse system messages, each representing an individual’s multifaceted preferences, to generalize to unseen system messages. The resulting model, Janus

实验结果

研究问题

• RQ1 LLM 是否能够被训练以在无需微调的情况下泛化到广泛未见的、反映个体用户偏好的系统提示？
• RQ2 在多样化系统提示上进行训练是否不仅能提升个性化，还能增强与广泛公共偏好的一般对齐？
• RQ3 一个在多样化系统提示上微调的单一 LLM，在偏好对齐方面能在多大程度上超越 Mistral 7B、GPT-3.5 和 GPT-4 等成熟模型？
• RQ4 Multifaceted Collection 在不同维度和子维度中捕获的偏好在多大程度上具有多样性和非重叠性？
• RQ5 系统提示的泛化能力是否能带来在注重帮助性、简洁性和事实准确性等基准测试中的性能提升？

主要发现

• 在使用未见过的系统提示进行基准评估时，Janus 在与 Mistral 7B Instruct v0.2 的对比中获得 75.2% 的平局+胜率，与 GPT-3.5 Turbo 对比为 72.4%，与 GPT-4 对比为 66.4%。
• 在人工成对评估中，Janus 在与 Mistral 7B Instruct v0.2 的对比中赢得 74.8% 的比较，与 GPT-3.5-Turbo 对比为 70.8%，与 GPT-4-Turbo-0125 对比为 57.9%。
• 在 AlpacaEval 2.0、MT-Bench 和 Arena Hard Auto v0.1 上，Janus 分别优于 LLaMA 3 8B Instruct +4.0%、+0.1% 和 +3.0%，表明其具备更强的一般对齐能力。
• 所有维度中偏好对之间的 ROUGE-L 平均得分为 0.21，最高为 0.25，证实了 192k 条偏好描述之间存在显著多样性且重叠度低。
• Multifaceted Collection 捕获了四个偏好维度（风格、背景知识、信息量、无害性）下的 12 个子维度，每个子维度具有独特的关键词和细微偏好。
• Janus 的 GPT-4 评估平均得分为 4.24 / 5.0，优于 LLaMA 3 8B Instruct（4.1）、Mixtral 8x7B Instruct（4.03）和 GPT-3.5-Turbo-0125（3.91），接近 LLaMA 3 70B Instruct（4.39）。

Figure 2: Construction process of Multifaceted Collection . For each instruction, preference descriptions are augmented from general to specific, allowing for multiple facets to branch out. We combine preferences from various dimensions into a system message to materialize these preferences as model