[論文レビュー] Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging

Joel Jang, Seungone Kim+7 more|arXiv (Cornell University)|Oct 17, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文では、マルチオブジェクティブ強化学習（MORL）を用いて、個々のユーザーの好みに合わせた効率的でパーソナライズされた大規模言語モデル（LLM）のアライメントを実現する後処理パラメータマージ手法であるPersonalized Soupsを提案する。異なる好みに対して個別にポリシー・モデルを学習し、推論時にそれらのパラメータをマージすることで、強力なベースラインと同等の性能を達成しつつ、好みの数に応じて計算コストを指数的から線形に削減する。これにより、再訓練を伴わずに新しいユーザーの好みを動的に統合できる。

ABSTRACT

While Reinforcement Learning from Human Feedback (RLHF) aligns Large Language Models (LLMs) with general, aggregate human preferences, it is suboptimal for learning diverse, individual perspectives. In this work, we study Reinforcement Learning from Personalized Human Feedback (RLPHF) problem, wherein LLMs are aligned to multiple (sometimes conflicting) preferences by modeling alignment as a Multi-Objective Reinforcement Learning (MORL) problem. Compared to strong single-objective baselines, we show that we can achieve personalized alignment by decomposing preferences into multiple dimensions. These dimensions are defined based on personalizations that are declared as desirable by the user. In this work, we show that they can be efficiently trained independently in a distributed manner and combined effectively post-hoc through parameter merging. The code is available at https://github.com/joeljang/RLPHF.

研究の動機と目的

• 標準的なRLHFでは一般集団の好みに最適化されるが、個々の多様で複雑なユーザーの好みを捉えきれないという限界を解消すること。
• 対立するか多様な好みを同時に最適化できるように、パーソナライズされたアライメントをマルチオブジェクティブ強化学習（MORL）問題として定式化すること。
• 複数の好みを持つモデルの学習にかかる計算負荷を軽減するため、学習とマージを分離し、事前に訓練されたポリシー・ヘッドの後処理マージを可能にすること。
• モデル全体を再訓練せずに新しいユーザーの好みを動的に統合できるようにすることにより、モジュラリティとユーザーのコントロール性を向上させること。

提案手法

• 各ユーザーが望む好みの次元を別々の目的とみなして、パーソナライズされたアライメントをマルチオブジェクティブ強化学習（MORL）問題として定式化する。
• 各好み次元に対応する別々の報酬信号に基づき、プロキシマル・ポリシー最適化（PPO）を用いて個別のポリシー・モデルを学習する。
• 推論時に複数の事前学習済みポリシー・モデルのパラメータを凸結合を用いて組み合わせる、後処理パラメータマージ技術「Personalized Soups」を用いる。
• マージ処理は推論時にリアルタイムで実行され、再訓練を伴わず、柔軟に好みを組み合わせることが可能になる。
• マルチタスク学習の必要を回避することで、多数の好みへの効率的スケーリングが可能になる。
• 新しいポリシー・ヘッドを既存のものと単にマージすることで、新規の好みの動的追加が可能になり、モジュラリティが保たれる。

Figure 1: Current RLHF only tackles general alignment while RL $\mathcal{P}$ HF is able to take into account multifaceted human preferences, thus providing a more personalized form of model-to-human alignment.

実験結果

リサーチクエスチョン

• RQ1 パーソナライズされたLLMのアライメントは、多様で、場合によっては対立するユーザーの好みを捉えるために、マルチオブジェクティブ強化学習（MORL）問題として効果的に定式化可能か？
• RQ2 複数のパーソナライズされた好みに対応するモデルの学習・デプロイにかかる計算コストを、指数的から線形的複雑度に削減する方法は何か？
• RQ3 独立して学習されたポリシー・モデルの後処理パラメータマージは、エンドツーエンドのマルチオブジェクティブ学習と同等の性能を達成できるか？
• RQ4 初期学習時に見られなかった新しいユーザーの好みを統合する際、この手法はどの程度スケーラブルか？
• RQ5 Personalized Soupsは、トーン、長さ、フォーマルさなどの出力の側面に対するユーザーのコントロールを維持しながら、高いパフォーマンスを発揮できるか？

主な発見

• Personalized Soupsは、強力なベースラインであるPrompted-MORL（マルチオブジェクティブRL手法）と同等の性能を達成しながら、好みの数に応じて計算複雑度を指数的から線形に削減した。
• 再訓練を伴わず、パラメータマージによる即時の複数のパーソナライズされた好みの組み合わせが可能で、効率的な動的合成が実現された。
• 実験では、学習後に新しい目的が追加されても、高いパフォーマンスを維持できることが示された。
• モジュラーな設計により、各好みごとに独立してポリシー・モデルを学習できるため、共同最適化と比較して学習オーバーヘッドが顕著に削減された。
• トーン、簡潔さ、フォーマルさといった洗練されたユーザー固有の好みを捉える点で、教師あり微調整や標準的なRLHFを上回った。
• 評価では16種類の異なる好みの組み合わせについてのアブレーションスタディが実施され、多様な好みの組み合わせに対しても本手法のロバストネスが示された。

Figure 2: Reward model training with conflicting preferences.