[論文レビュー] Aligning to Thousands of Preferences via System Message Generalization

Seongyun Lee, Sue Hyun Park+2 more|arXiv (Cornell University)|May 28, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

本論文は、192k件の多様なシステムメッセージにわたる一般化を学習させることで、個々のユーザーの好みに大規模に適合させるパラダイムを提案する。新規に構築された192k件のサンプルを含む「Multifaceted Collection」と呼ばれるデータセットを用い、7BパラメータのLLMであるJanusを訓練した。このモデルは、再訓練なしに未観測のユーザー好みに対しても強い適合性を維持しながら、複数のベンチマークで最先端の性能を達成しており、Mistral 7B、GPT-3.5、さらにはLLaMA 3 8B Instructをも凌駆する。

ABSTRACT

Although humans inherently have diverse values, current large language model (LLM) alignment methods often assume that aligning LLMs with the general public's preferences is optimal. A major challenge in adopting a more individualized approach to LLM alignment is its lack of scalability, as it involves repeatedly acquiring preference data and training new reward models and LLMs for each individual's preferences. To address these challenges, we propose a new paradigm where users specify what they value most within the system message, steering the LLM's generation behavior to better align with the user's intentions. However, a naive application of such an approach is non-trivial since LLMs are typically trained on a uniform system message (e.g., "You are a helpful assistant") which limits their ability to generalize to diverse, unseen system messages. To improve this generalization, we create the Multifaceted Collection, a preference dataset with 192k combinations of values beyond generic helpfulness and harmlessness, spanning 65k user instructions. Using this dataset, we train a 7B LLM called Janus and test it on 921 prompts from 5 benchmarks (AlpacaEval 2.0, FLASK, Koala, MT-Bench, and Self-Instruct) by adding various unseen system messages that reflect user preferences. Janus achieves tie+win rate of 75.2%, 72.4%, and 66.4% against Mistral 7B Instruct v0.2, GPT-3.5 Turbo, and GPT-4, respectively. Unexpectedly, on three benchmarks focused on response helpfulness (AlpacaEval 2.0, MT-Bench, Arena Hard Auto v0.1), Janus also outperforms LLaMA 3 8B Instruct by a +4.0%, +0.1%, +3.0% margin, underscoring that training with a vast array of system messages could also enhance alignment to the general public's preference as well. Our code, dataset, benchmark, and models are available at https://github.com/kaistAI/Janus.

研究の動機と目的

• 個々のユーザーの好みに合わせたLLMの適合性を高めるスケーラビリティの課題に対処し、各ユーザーの好みに再訓練する方法は計算的に非現実的である。
• オープンソースLLMが単一の均一なシステムプロンプトでトレーニングされているため、未観測のシステムメッセージへの一般化が困難であるという制限を克服する。
• 推論時におけるシステムメッセージプロンプトを用いたアプローチにより、再訓練を必要とせずにLLMが個別化された好みに適応できる手法を開発する。
• 多様なシステムメッセージでトレーニングすることで、個人化の向上に加え、一般的な公的好みへの適合性の向上も図ることを示す。

提案手法

• 65,000件の異なるインストラクションをカバーする、192,000件のユニークなシステムメッセージ・インストラクション・レスポンスの三つ組を含む、192k件のトレーニングデータセット「Multifaceted Collection」を構築する。
• 5つの既存データセットからインストラクションを収集し、GPT-4-Turboを用いて多様なシステムメッセージと、多面的な人間の好みを反映する参照レスポンスを生成する。
• 推論時における未観測のシステムメッセージへの一般化を可能にするために、インstructファインチューニングを用いて7BパラメータのLLM（Janus）をMultifacetal Collectionでトレーニングする。
• 5つのベンチマーク（AlpacaEval 2.0、FLASK、Koala、MT-Bench、Self-Instruct）において、プロンプトに多様で未観測のシステムメッセージを挿入してJanusの性能を評価する。
• 人間による検証が行われた高品質なシステムメッセージとレスポンスを用い、トレーニングおよび評価の前段階で低品質なインスタンスをフィルタリングする。
• ペairwise人間評価とGPT-4を用いた自動スコアリングを実施し、複数の好みの次元における性能を検証する。

Figure 1: Previous LLMs are trained with homogeneous system messages reflecting general helpfulness and harmlessness. We propose training LLMs with diverse system messages, each representing an individual’s multifaceted preferences, to generalize to unseen system messages. The resulting model, Janus

実験結果

リサーチクエスチョン

• RQ1 再訓練なしに、個々のユーザーの好みを反映する多様な未観測のシステムメッセージに対し、LLMが一般化できるか？
• RQ2 多様なシステムメッセージでトレーニングすることで、個人化の向上に加え、広範な公的好みへの適合性の向上も達成できるか？
• RQ3 多様なシステムメッセージでファインチューニングされた1つのLLMが、Mistral 7B、GPT-3.5、GPT-4に比べて、好みの適合性で優れた性能を示せるか？
• RQ4 Multifacetal Collectionに含まれる好みは、異なる次元およびサブディメンションにおいてどれほど多様で重複のないか？
• RQ5 システムメッセージの一般化が、役立性、簡潔さ、事実の正確性に焦点を当てたベンチマークでのパフォーマンス向上に寄与するか？

主な発見

• 未観測のシステムメッセージを用いたベンチマーク評価において、JanusはMistral 7B Instruct v0.2に対して75.2％のタイ＋勝利率、GPT-3.5 Turboに対して72.4％、GPT-4に対して66.4％を記録した。
• 人間によるペアワイズ評価では、Mistral 7B Instruct v0.2に対して74.8％、GPT-3.5-Turboに対して70.8％、GPT-4-Turbo-0125に対して57.9％の勝利率を示した。
• AlpacaEval 2.0、MT-Bench、Arena Hard Auto v0.1において、それぞれLLaMA 3 8B Instructを+4.0％、+0.1％、+3.0％上回り、一般化された適合性の向上を示した。
• すべての次元において、好みペア間のROUGE-Lスコアは平均0.21、最大0.25であり、192k件の好み記述に顕著な多様性と低重複性があることを確認した。
• Multifacetal Collectionは、スタイル、背景知識、情報量、無害性の4つの好み次元にわたり12のサブディメンションを捉えており、それぞれに固有のキーワードと微細な好みの差異が存在する。
• GPT-4による平均評価スコアは5.0満点中4.24であり、LLaMA 3 8B Instruct（4.1）、Mixtral 8x7B Instruct（4.03）、GPT-3.5-Turbo-0125（3.91）を上回り、LLaMA 3 70B Instruct（4.39）に近い水準に達した。

Figure 2: Construction process of Multifaceted Collection . For each instruction, preference descriptions are augmented from general to specific, allowing for multiple facets to branch out. We combine preferences from various dimensions into a system message to materialize these preferences as model