[論文レビュー] OpenP5: An Open-Source Platform for Developing, Training, and Evaluating LLM-based Recommender Systems

Shuyuan Xu, Wenyue Hua+1 more|arXiv (Cornell University)|Jun 19, 2023

Topic Modeling被引用数 7

ひとこと要約

OpenP5 は、Pre-train, Personalized Prompt, and Predict (P5) パラダイムを用いて推薦用の基礎モデルをベンチマークするオープンソースライブラリです。10の一般的なデータセットを対象に、順序付きおよび単純な推薦の2つの下流タスクをサポートしており、3つのアイテムインデキシング手法（ランダム、順序、協調）を備え、統一されたスーパーP5モデルを含む事前学習済みチェックポイントを提供しています。多数のベンチマークで最先端の性能を達成し、優れたゼロショット一般化性能を示しています。

ABSTRACT

In recent years, the integration of Large Language Models (LLMs) into recommender systems has garnered interest among both practitioners and researchers. Despite this interest, the field is still emerging, and the lack of open-source R&D platforms may impede the exploration of LLM-based recommendations. This paper introduces OpenP5, an open-source platform designed as a resource to facilitate the development, training, and evaluation of LLM-based generative recommender systems for research purposes. The platform is implemented using encoder-decoder LLMs (e.g., T5) and decoder-only LLMs (e.g., Llama-2) across 10 widely recognized public datasets, catering to two fundamental recommendation tasks: sequential and straightforward recommendations. Recognizing the crucial role of item IDs in LLM-based recommendations, we have also incorporated three item indexing methods within the OpenP5 platform: random indexing, sequential indexing and collaborative indexing. Built on the Transformers library, the platform facilitates easy customization of LLM-based recommendations for users. OpenP5 boasts a range of features including extensible data processing, task-centric optimization, comprehensive datasets and checkpoints, efficient acceleration, and standardized evaluations, making it a valuable tool for the implementation and evaluation of LLM-based recommender systems. The open-source code and pre-trained checkpoints for the OpenP5 library are publicly available at https://github.com/agiresearch/OpenP5.

研究の動機と目的

• 推薦システムにおける基礎モデルのための標準化されたベンチマークの欠如に対処すること。
• LLMベースのレコメンデーションシステムのトレーニング、評価、比較を統一的かつ再現可能に行うプラットフォームを提供すること。
• パーソナライズドプロンプトを用いて、順序付きおよび単純な推薦タスクをサポートすること。
• すべての10のデータセットに事前学習された1つのスーパーP5モデルを用いて、クロスドメイン推薦を可能にすること。
• 異なるアイテムインデキシング手法が生成型推薦性能に与える影響を調査すること。

提案手法

• フレームワークは T5-small モデルに基づき、P5パラダイム（ユーザー・アイテム相互作用で事前学習し、その後パーソナライズドプロンプトを用いて微調整）を用いて訓練されています。
• パーソナライズドプロンプトは、ユーザーID、アイテムID、データセット名を用いて構築され、ゼロショット一般化を可能にするとともに、データセット間の誤解を回避します。
• 3つのアイテムインデキシング手法を実装：ランダム（ランダムな番号トークン）、順序（時系列順）、協調（ユーザー・アイテム相互作用のパターンに基づく）。
• バランスの取れたトレーニング戦略として、データセットとタスクを交互にバッチ処理することで、データの不均衡や、特にスーパーP5トレーニングにおけるカリキュラムの崩壊を軽減します。
• 個々のデータセット用（P5）およびすべての10のデータセットにわたってトレーニングされた統一されたスーパーP5モデル用の事前学習済みチェックポイントを提供します。
• 評価には、順序付きおよび単純な推薦タスクの両方で標準的な指標である HR@k と NDCG@k を使用しています。

実験結果

リサーチクエスチョン

• RQ1 アイテムインデキシング手法（ランダム、順序、協調）の選択が、LLMベースのレコメンデーションシステムの性能に与える影響は何か？
• RQ2 1つの統一モデル（スーパーP5）は、ドメイン固有の微調整なしに、多様な推薦ドメインで優れた性能を達成できるか？
• RQ3 ゼロショット設定において、特に順序付き推薦において、OpenP5は未学習のプロンプトテンプレートにどれほど一般化できるか？
• RQ4 複数のデータセットを用いたスーパーP5モデルをトレーニングする際、データの不均衡およびカリキュラムの崩壊にどのような影響があるか？
• RQ5 推薦精度の観点から、OpenP5は既存の順序付きおよび協調フィルタリングベースラインと比べてどのように差をつけるか？

主な発見

• OpenP5は多数のデータセットと指標で最高の性能を達成しており、協調インデキシング手法がランダムおよび順序インデキシングを上回っていることがわかった。
• ML-1Mデータセットにおいて、スーパーP5モデルはいくつかのベースラインを上回り、優れたクロスドメイン一般化能力を示した。
• 順序付き推薦において、OpenP5は強いゼロショット一般化を示しており、一部のデータセット（例：ML-1M、LastFM）では、学習済みプロンプトよりも未学習プロンプトで高い性能を達成した。
• 単純な推薦においては、未学習プロンプトでの性能が低下しており、これはプロンプトテンプレートによるトークンの優位性がユーザーID埋め込みに影響を与えている可能性がある。
• Beauty や LastFM のような小さなデータセットでは、スーパーP5の性能が最適でないことが判明した。これは、複数データセットトレーニング中の過学習およびデータの不均衡が原因である可能性がある。
• このライブラリは、基礎モデルの推薦分野における効率的かつ再現可能な評価を可能にし、包括的な事前学習済みチェックポイントと標準化されたベンチマークを提供している。