[論文レビュー] User Embedding Model for Personalized Language Prompting

Sumanth Doddapaneni, Krishna Sayana+3 more|arXiv (Cornell University)|Jan 10, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、長期間にわたるユーザ履歴を文脈的な埋め込みに圧縮するユーザ埋め込みモジュール（UEM）を提案する。この埋め込みは、言語モデルの出力をパーソナライズするためにソフトプロンプトとして使用される。UEMと言語モデルを同時に訓練することで、最大0.25のF1スコア向上を達成する効率的でスケーラブルなパーソナライズが可能になる。

ABSTRACT

Modeling long histories plays a pivotal role in enhancing recommendation systems, allowing to capture user's evolving preferences, resulting in more precise and personalized recommendations. In this study we tackle the challenges of modeling long user histories for preference understanding in natural language. Specifically, we introduce a new User Embedding Module (UEM) that efficiently processes user history in free-form text by compressing and representing them as embeddings, to use them as soft prompts to a LM. Our experiments demonstrate the superior capability of this approach in handling significantly longer histories compared to conventional text based prompting methods, yielding substantial improvements in predictive performance. The main contribution of this research is to demonstrate the ability to bias language models with user signals represented as embeddings.

研究の動機と目的

• 長期間のユーザ履歴をモデル化することによるパーソナライズド言語モデリングにおける好み理解の向上に向けた課題に対処すること。
• 長期間のユーザ履歴を入力トークンに直接連結することで生じるO(n²)の自己注意コストによる計算非効率性を克服すること。
• 下流タスクと文脈的に整合するユーザ固有の表現を学習することで、効果的なパーソナライズを実現すること。
• サンプリングまたは要約されたスニペットではなく、完全なユーザ履歴を大規模言語モデルへの入力として使用する可能性を検討すること。
• ユーザ信号の埋め込みを用いて言語モデルを効果的にバイアス化できることを示し、推薦タスクにおける予測性能の向上を実証すること。

提案手法

• ユーザ埋め込みモジュール（UEM）は、各ユーザ履歴アイテム（例：映画タイトル、ジャンル、評価、説明文）をSentenceT5を用いて処理し、密な埋め込みを生成する。
• これらの埋め込みは、p（履歴アイテム数）の長さのシーケンスに統合され、ユーザ履歴表現U ∈ ℝ^{p×3s} が形成される。ここでsはSentenceT5の埋め込み次元である。
• 変換器ベースのUEMが埋め込みのシーケンスを処理し、言語モデルの隠れ層サイズeに一致するように学習可能な線形投影を適用する。
• 得られたユーザプロンプト埋め込みPr_{UEM}(U) ∈ ℝ^{p×e} は、タスク固有のソフトプロンプトP_e ∈ ℝ^{k×e} および入力クエリの埋め込みと連結され、最終的な言語モデル入力が形成される。
• UEMは言語モデルと共同で訓練されることで、ユーザ表現が下流タスクのパフォーマンス最適化に寄与するよう保証される。
• 本手法は、原始的なテキスト履歴の代わりに、学習されたコンパクトな埋め込みを使用することで、O(n²)の注意コストを回避し、長期間の履歴を効率的に処理できる。

Figure 1: Overview of our User History Modeling Approach. The user history’s textual features are processed through the User Embedding module and combined with the task prompt and subsequently passed through the language model.

実験結果

リサーチクエスチョン

• RQ1 学習されたユーザ埋め込みモジュールは、大規模言語モデルにおけるソフトプロンプティングに適した形で、長期間のユーザ履歴を効果的に圧縮できるか？
• RQ2 提案されたUEMベースのプロンプティングは、長期間のユーザ履歴を用いた従来のテキストベースのプロンプティングと比較して、性能に優れているか？
• RQ3 UEMは、サンプリングまたは要約されたユーザ履歴を用いたベースラインと比較して、好み理解タスクにおける予測性能をどの程度向上できるか？
• RQ4 UEMのサイズ（例：層の数）は、モデルのパフォーマンスと効率性にどのように影響するか？
• RQ5 ドメイン特化の埋め込みを用いることで、UEMはマルチモーダルなユーザ信号をサポートできるか？

主な発見

• 提案されたUEMベースのプロンプティング手法は、映画ジャンル予測タスクにおいて、テキストベースのプロンプティングベースラインと比較して最大0.21および0.25のF1スコア向上を達成した。
• UEMは、従来のテキストベースの手法と比較して、はるかに長いユーザ履歴の効率的処理を可能にし、計算コストをO(n²)からシーケンス長に比例する線形コストに削減した。
• UEMの層数を1から3に増加させたことで、ベースモデルではF1スコアが0.346から0.396に、大規模モデルでは0.347から0.381に向上し、UEMのサイズとパフォーマンスの正の相関関係が示された。
• FlanT5 や LongT5 などのベースラインモデルを上回る性能を示し、最良のUEM拡張モデルでは、ベースモデルでテストF1が0.396、大規模モデルで0.381を達成した。
• UEMのパフォーマンスは埋め込みモデルの選択に敏感であり、SentenceT5ベースの表現は強力なベースライン性能を示したが、ドメイン特化の埋め込みを用いることでさらなる向上が期待できる。
• 本手法は汎用的であり、モality特化の埋め込みを用いることでマルチモーダル入力へ拡張可能であり、今後の研究でこの方向性を計画している。

Figure 2: Comparison of model performance with increasing User History.