[論文レビュー] Personalized Language Modeling from Personalized Human Feedback

Xinyu Li, Zhou, Ruiyang+2 more|arXiv (Cornell University)|Feb 6, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデルを個々のユーザーの好みに合わせて調整するための、ユーザー・モデルとパーソナライズド・ランクイング／報酬モデルを同時に学習するフレームワークであるPersonalized-RLHF (P-RLHF) を提案する。ユーザー固有の埋め込みと、パーソナライズド報酬モデリング (P-RM) および直接的好み最適化 (P-DPO) のための新しい学習目的を組み込むことで、見たことのないユーザーを含めたユーザーの好みへの整合性が向上し、パーソナライズド好み予測において最大61.72%の精度を達成。非パーソナライズドなベースラインを上回る。

ABSTRACT

Personalized large language models (LLMs) are designed to tailor responses to individual user preferences. While Reinforcement Learning from Human Feedback (RLHF) is a commonly used framework for aligning LLMs with human preferences, vanilla RLHF assumes that all human preferences share the same distribution, preventing fine-tuned LLMs from generating personalized content when user preferences are diverse. In this work, we propose Personalized-RLHF (P-RLHF), an efficient framework that utilizes a lightweight user model to capture individual user preferences and jointly learns the user model and the personalized LLM from human feedback. P-RLHF exhibits the following three characteristics: (1) It enables an LLM to generate personalized content and scale efficiently with growing number of users. (2) It handles both explicit user preferences described as textual input and implicit user preferences encoded in the feedback data. (3) It eliminates the need for users to fully articulate their preferences, which are normally needed for prompting LLMs to generate personalized content yet are often impractical to obtain in real-world scenarios. Our experimental results show that personalized LLMs trained using P-RLHF generate responses that are more closely aligned with individual user preferences, outperforming vanilla, non-personalized RLHF and prompting-based personalization approaches across different tasks. We opensource our code at https://github.com/HumainLab/Personalized_RLHF.

研究の動機と目的

• 大規模言語モデルにおける多様でパーソナライズされた人間の好みを扱う際の、通常のRLHFの限界を解消すること。
• 個人差が著しいユーザーの好みが存在する文脈で、パーソナライズド人間フィードバックからの学習を形式化すること。
• ユーザー表現とパーソナライズド報酬／言語モデルを同時に学習する一般化可能なP-RLHFフレームワークを開発すること。
• パーソナライズド報酬モデリング (P-RM) およびパーソナライズド直接的好み最適化 (P-DPO) のための新しい学習目的を設計すること。
• 実世界の要約データ（ユーザーの好みがアノテート済み）を用いてフレームワークを評価し、個々のユーザーとの整合性が向上することを示すこと。

提案手法

• ユーザーIDなどのユーザー情報がアノテートされた好みデータを用いて、ユーザー・モデルと言語／報酬モデルを同時に学習するP-RLHFフレームワークを提案。
• ユーザー情報（例：作業者ID）をユーザー固有の埋め込みにマップするユーザー・モデルを設計。個別またはクラスタベースの表現をサポート。
• ユーザー固有の損失項とユーザーに依存しない損失項を組み合わせたパーソナライズド報酬モデリング目的（P-RM）を導入。重みパラメータαで重み付け。
• ユーザー条件付きの暗黙的報酬関数を用いて言語モデルを最適化するパーソナライズドDPO目的（P-DPO）を構築。
• P-RMおよびP-DPOにおいて、個々の好みへの適合性と、未学習ユーザー用の一般化用のユーザー表現（e₀）による正則化をバランスさせるハイブリッド損失を採用。
• ベースライン言語モデルにGPT-J 6Bを採用。10名のアノテーターが関与する実世界の要約データセットを用い、P-RMおよびP-DPOによる微調整を実施。

実験結果

リサーチクエスチョン

• RQ1 統合されたフレームワークが、ユーザー表現とパーソナライズド報酬モデルを同時に学習することで、個々の好みへの整合性を向上させられるか？
• RQ2 ユーザー固有の埋め込みを組み込むことで、非パーソナライズドなベースラインと比較して、好みモデリングの性能が向上するか？
• RQ3 P-RMおよびP-DPOの目的関数におけるユーザーに依存しない正則化項（α）の影響は、未学習ユーザーへの一般化性能にどのように現れるか？
• RQ4 個別表現対クラスタリング表現のユーザー・モデル設計の違いが、パーソナライズド性能および耐性に与える影響は何か？
• RQ5 一般化されたユーザー表現（e₀）を用いて、未学習ユーザーに対しても効果的に言語モデル出力をパーソナライズできるか？

主な発見

• 個別ユーザー埋め込みとα=0.5を用いたP-RMモデルは、学習済みユーザーのトップ1好み予測で61.72%の精度を達成。非パーソナライズドRM（60.27%）を上回った。
• 個別ユーザー埋め込みとα=0.5を用いたP-DPOモデルは、学習済みユーザーで61.33%、未学習ユーザーで61.97%の精度を達成。非パーソナライズドDPOベースライン（60.48%および60.99%）を上回った。
• ユーザーに依存しない損失項（α=0.5）が一般化性能を顕著に向上させた。α=0.5のモデルが、すべての評価指標でα=1.0のモデルを上回った。
• K=5のクラスタリングベースのユーザー・モデルは個別モデルと同等の性能を示したが、分散が高かった。より良いハイパーパramータチューニングやドメインに適したクラスタリングにより、さらなる改善が期待できる。
• 一般化されたユーザー表現（e₀）により、未学習ユーザーに対しても効果的なパーソナライズが可能であり、P-DPOは未学習ユーザーで61.97%の精度を達成。非パーソナライズドDPOベースラインを上回った。
• 結果から、ユーザー表現を明示的にモデル化することで、標準的なRLHF手法よりも個々のユーザーの好みに適した整合性が向上することが示された。