[論文レビュー] Large Language Models for User Interest Journeys

Konstantina Christakopoulou, Alberto Lalama+11 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、クラスタリングとプロンプトチューニングを用いて、インタラクションログからパーソナライズされた、持続的なユーザーの関心の旅を抽出・命名するためのフレームワークを提案する。大規模言語モデル（LLMs）が、『初心者としてウクレレを弾く』のような洗練された、人間らしい関心の記述を生成できることを示しており、産業プラットフォームにおけるより解釈可能で旅に配慮したレコメンデーションを可能にする。

ABSTRACT

Large language models (LLMs) have shown impressive capabilities in natural language understanding and generation. Their potential for deeper user understanding and improved personalized user experience on recommendation platforms is, however, largely untapped. This paper aims to address this gap. Recommender systems today capture users' interests through encoding their historical activities on the platforms. The generated user representations are hard to examine or interpret. On the other hand, if we were to ask people about interests they pursue in their life, they might talk about their hobbies, like I just started learning the ukulele, or their relaxation routines, e.g., I like to watch Saturday Night Live, or I want to plant a vertical garden. We argue, and demonstrate through extensive experiments, that LLMs as foundation models can reason through user activities, and describe their interests in nuanced and interesting ways, similar to how a human would. We define interest journeys as the persistent and overarching user interests, in other words, the non-transient ones. These are the interests that we believe will benefit most from the nuanced and personalized descriptions. We introduce a framework in which we first perform personalized extraction of interest journeys, and then summarize the extracted journeys via LLMs, using techniques like few-shot prompting, prompt-tuning and fine-tuning. Together, our results in prompting LLMs to name extracted user journeys in a large-scale industrial platform demonstrate great potential of these models in providing deeper, more interpretable, and controllable user understanding. We believe LLM powered user understanding can be a stepping stone to entirely new user experiences on recommendation platforms that are journey-aware, assistive, and enabling frictionless conversation down the line.

研究の動機と目的

• レコメンデーションシステムにおける深い、解釈可能なユーザー理解のギャップを埋めるために、一時的なインタラクションを超えた持続的なユーザー関心をモデル化すること。
• 学ぶことや趣味を追求することといった、長期的なユーザーの目標や旅をサポートできるレコメンデーションプラットフォームを実現すること。
• パーソナライズドクラスタリングとLLMプロンプティングを組み合わせ、一貫性があり一時的でないユーザー関心の旅を抽出・命名するフレームワークを開発すること。
• プロンプト技術、モデルアーキテクチャ、データ品質が生成された旅の名前品質に与える影響を調査すること。
• LLMを活用したユーザーモデリングによって、旅に配慮した、支援的で制御可能なユーザー体験の基盤を提供すること。

提案手法

• 長期間のユーザーインタラクションシーケンスに対してパーソナライズドクラスタリングを適用し、一貫性があり持続的な関心の旅を抽出する。
• Fewショットプロンプティング、プロンプトチューニング、ファインチューニングを用いて、LLMを自然言語で抽出された旅の名前を付与するタスクに適合させる。
• 一般化性とLLM出力の品質を向上させるために、熟練者が命名したユーザー関心の収集データをトレーニングデータとして活用する。
• スケーラブルな産業用レコメンデーションプラットフォームにLLMによって生成された旅の名前を統合し、実世界での評価を実施する。
• 構成可能なクラスタリングパラメータにより、抽出された旅の粒度を制御可能とし、検査とユーザー制御を可能にする。
• コンテンツ理解とクラスタリングを統合し、孤立したインタラクションではなく、持続的で目標指向の旅としてユーザー関心をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、人間の記述と同等に洗練され、解釈可能な自然言語の記述を、ユーザー関心の旅に対して生成できるか？
• RQ2 異なるプロンプト技術（例：Few-shot、プロンプトチューニング、ファインチューニング）は、生成された旅の名前の品質と一貫性にどのように影響するか？
• RQ3 トレーニングデータの品質とドメイン特化度が、LLMをユーザー旅理解タスクに適合させる役割を果たすか？
• RQ4 インタラクションログのパーソナライズドクラスタリングは、代替手法と比較して、一貫性があり持続的なユーザー旅を抽出する上で効果的か？
• RQ5 LLMを活用した旅モデリングは、ユーザー理解をどの程度向上させ、新たな支援的レコメンデーション体験を可能にするか？

主な発見

• LLMsは、『イタリアンレシピを調理する』や『初心者としてウクレレを学ぶ』といった、洗練された人間らしい関心の記述を生成でき、ユーザー行動シーケンスに対する強力な推論能力を示している。
• 少量だが高品質で熟練者が収集した名前付きユーザー関心データを用いたプロンプトチューニングが、多様なユーザープロファイルにわたる一般化性とパフォーマンスを最も高める。
• パーソナライズドクラスタリングは、一貫性があり持続的な旅を抽出するために不可欠である。これがないと、LLMは意味的で重複のない関心パターンを推論できなくなる。
• ドメイン特化された旅データでLLMをファインチューニングすることで、ゼロショットプロンプティングに比べ、生成された名前の関連性と解釈可能性が著しく向上する。
• このフレームワークは、解釈可能で制御可能なユーザーモデリングを可能にし、特定の関心に対してコンテンツの増減をユーザーが管理できるようにする。
• 本アプローチは産業用レコメンデーションプラットフォームで大規模に検証され、旅に配慮した、支援的でスムーズなユーザー体験の強力な可能性を示している。