[論文レビュー] Large Language Model Simulator for Cold-Start Recommendation

Feiran Huang, Yuanchen Bei+7 more|arXiv (Cornell University)|Feb 14, 2024

Topic Modeling被引用数 6

ひとこと要約

LLM-InS は Cold-start アイテムのためのシミュレートされた対話を生成・洗練させる大型言語モデル対話シミュレータを導入し、コールドアイテムとウォームアイテムの訓練を統合するとともに、最先端のベースラインを上回るコールドスタート推奨を実現する。

ABSTRACT

Recommending cold items remains a significant challenge in billion-scale online recommendation systems. While warm items benefit from historical user behaviors, cold items rely solely on content features, limiting their recommendation performance and impacting user experience and revenue. Current models generate synthetic behavioral embeddings from content features but fail to address the core issue: the absence of historical behavior data. To tackle this, we introduce the LLM Simulator framework, which leverages large language models to simulate user interactions for cold items, fundamentally addressing the cold-start problem. However, simply using LLM to traverse all users can introduce significant complexity in billion-scale systems. To manage the computational complexity, we propose a coupled funnel ColdLLM framework for online recommendation. ColdLLM efficiently reduces the number of candidate users from billions to hundreds using a trained coupled filter, allowing the LLM to operate efficiently and effectively on the filtered set. Extensive experiments show that ColdLLM significantly surpasses baselines in cold-start recommendations, including Recall and NDCG metrics. A two-week A/B test also validates that ColdLLM can effectively increase the cold-start period GMV.

研究の動機と目的

• 新規アイテムの履歴的相互作用の欠如により協調フィルタリングで生じるコールドスタート課題を強調する。
• コンテンツベースおよび行動的信号を用いてコールドアイテムのユーザー-アイテム相互作用をシミュレートする LLM-InS を提案する。
• コールドアイテムのシミュレートされた相互作用を効率的に生成・利用するためのフィルタリングと洗練のワークフローを開発する。
• シミュレートされた相互作用と実際の相互作用を用いて、コールドアイテムとウォームアイテムの訓練を単一の推奨フレームワーク内で統一する。

提案手法

• コンテンツ特徴からコールドアイテムのユーザ挙動をモデル化する LLM インタラクション・シミュレータ（LLM-InS）を導入する。
• 埋め込みベースのフィルタリング手順とプロンプトベースの洗練手順を備えた階層的インタラクション・シミュレーターを設計する。
• 推奨システムの埋め込みと整合させるため、指示/入力/出力訓練を通じて対ペアの相互作用をシミュレートするようにLLMsを修正する。
• フィルタリング機構（Llama Subtower および Collaborative Subtower）を用いて候補ユーザーを選択し、相互作用を洗練させる。
• Q&A 形式のプロンプトを用いて LLM との対話でシミュレートされた相互作用を洗練させるプロンプト手法を採用する。
• シミュレートされたコールドアイテムの相互作用と実際のウォームアイテムの相互作用を組み合わせて埋め込みを更新し、共通の CF バックボーン（MF、LightGCN、NGCF）を再訓練する。

実験結果

リサーチクエスチョン

• RQ1 LLM-InS は全体、コールド、ウォームのタスクで最新のコールドスタート推奨モデルを上回ることができるか？
• RQ2 性能に対する各構成要素（埋め込みフィルタリング、洗練プロンプト、埋め込みの更新）の寄与はどの程度か？
• RQ3 ファインチューニングされたLLMベースの手法（LLM-InS）はコールドスタートシナリオで既存のLLMベース推奨モデルを上回るか？

主な発見

• LLM-InS はオフライン評価で全体、コールド、ウォーム推奨において、9つの最先端コールドスタート手法と3つのLLMモデルを上回る。
• アブレーション研究は、性能向上のためには洗練段階と埋め込みフィルタリングの重要性を示している。
• CiteULike と MovieLens の実験は、バックボーン（MF、NGCF、LightGCN）全体で Recall@20 および NDCG@20 の相対的な大幅改善を示している。
• 埋め込み更新ステップはコールドアイテムとウォームアイテムの分布を整合させ、更新後の指標全般の性能を向上させる。