[論文レビュー] Leveraging Large Language Models for Pre-trained Recommender Systems

Zhixuan Chu, Hongyan Hao+10 more|arXiv (Cornell University)|Aug 21, 2023

Topic Modeling被引用数 11

ひとこと要約

RecSysLLM は、大規模言語モデル（LLM）に基づく事前学習済みレコメンダーモデルで、LLMの推論を保持しつつ、データ、トレーニング、推論フェーズ設計を通じてドメイン特有のレコメンデーション知識を注入します。

ABSTRACT

Recent advancements in recommendation systems have shifted towards more comprehensive and personalized recommendations by utilizing large language models (LLM). However, effectively integrating LLM's commonsense knowledge and reasoning abilities into recommendation systems remains a challenging problem. In this paper, we propose RecSysLLM, a novel pre-trained recommendation model based on LLMs. RecSysLLM retains LLM reasoning and knowledge while integrating recommendation domain knowledge through unique designs of data, training, and inference. This allows RecSysLLM to leverage LLMs' capabilities for recommendation tasks in an efficient, unified framework. We demonstrate the effectiveness of RecSysLLM on benchmarks and real-world scenarios. RecSysLLM provides a promising approach to developing unified recommendation systems by fully exploiting the power of pre-trained language models.

研究の動機と目的

• 大規模言語モデル（LLMs）を統一的で事前学習済みのレコメンダーシステムに統合し、推論と外部知識を活用する動機づけ。
• RecSysLLM を提案し、LLM の機能を保持しつつレコメンデーションドメイン知識を組み込む事前学習済みレコメンドモデル。
• 表形式のレコメンデーションデータを LLM の事前学習概念に合わせるデータ、トレーニング、推論フェーズの開発。
• 評価指標として、評価、逐次レコメンデーション、説明、レビュー、直接推奨のマルチタスク性能を示す。
• RecSysLLM が実世界データセットとベンチマークデータセットから、レコメンデーション品質と汎化性能を向上させる証拠を提供。

提案手法

• 表形式のユーザー/アイテムデータを自然言語へテキスト化して LLM の事前学習適用に適合させる。
• エンティティの完全性を維持し、エンティティ単位・文単位・文書レベルのマスキングをサポートするマスキング機構を導入する。
• エンティティ間の関係性を保つよう、時系列順に保持されたスパンを含む自己回帰型の空欄埋めの目的関数を採用する。
• 2D の位置エンコードを、エンティティ間・エンティティ内の位置を含むように拡張し、推論時に動的な位置機構を用いる。
• 推奨固有知識を注入するために、GLM系基盤（例: GLM-10B/ChatGLM-6B）に対するパラメータ効率の高いファインチューニング手法（LoRA）を用いる。
• 評価をゼロショット汎化可能にするため、評価、逐次レコメンデーション、説明、レビュー、直接レコメンデーションを跨ぐマルチタスクプロンプトで学習させる。

実験結果

リサーチクエスチョン

• RQ1 RecSysLLM は、LLM の推論と背景知識を活用して、複数タスクでのレコメンデーション性能を向上させることができるか。
• RQ2 表形式データをテキスト化し、エンティティ認識マスキングを導入することは、ユーザーとアイテムの相互作用の学習にどのような影響を与えるか。
• RQ3 事前学習済み LLM のパラメータ効率的ファインチューニングは、下流のレコメンドタスクへの適応を効果的に可能にし、競争力のあるまたは優れた性能を発揮するか。
• RQ4 RecSysLLM は、未知のプロンプトに対するゼロショット汎化を様々なレコメンドタスクでどの程度達成できるか。
• RQ5 アイテムをIDではなくテキストとして表現することの、意味理解を高める実用的な利点は何か。

主な発見

• RecSysLLM は、評価、逐次レコメンデーション、説明、レビュー、直接レコメンデーションの各タスクで競争的またはそれ以上の性能を達成し、特に未知プロンプトに対するゼロショット設定でベースラインを上回る。
• アイテムやエンティティのテキスト表現は、数値IDよりも豊かな意味理解を可能にし、推奨の改善に寄与する。
• モデルは強力なゼロショット汎化を示し、未知プロンプトに対する複数タスクで P5 などのプロンプトベースのベースラインを上回る。
• プロンプト設計とLLMs の生成力が、説明生成およびレビュー要約の性能を大幅に向上させる。
• 実世界データ（Alibaba/Alipay 中国語データセット）と Amazon-English データセットでの実験は、RecSysLLM の有効性と実用的適用性を示す。