[論文レビュー] Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)

Shijie Geng, Shuchang Liu+3 more|arXiv (Cornell University)|Mar 24, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、自然言語を用いて推薦をテキストからテキストのタスクとして定式化する、統合的プリトレーニング、パーソナライズドプロンプト、予測パラダイム「P5」を提案する。ユーザー・アイテムの相互作用、レビュー、メタデータをプロンプトチューニングされた言語シーケンスに変換することで、P5は多様な推薦タスクにおいてゼロショット一般化を可能にし、最小限のファインチューニングで5つのタスクファミリーでSOTAまたは競争力のある性能を達成する。

ABSTRACT

For a long time, different recommendation tasks typically require designing task-specific architectures and training objectives. As a result, it is hard to transfer the learned knowledge and representations from one task to another, thus restricting the generalization ability of existing recommendation approaches, e.g., a sequential recommendation model can hardly be applied or transferred to a review generation method. To deal with such issues, considering that language can describe almost anything and language grounding is a powerful medium to represent various problems or tasks, we present a flexible and unified text-to-text paradigm called "Pretrain, Personalized Prompt, and Predict Paradigm" (P5) for recommendation, which unifies various recommendation tasks in a shared framework. In P5, all data such as user-item interactions, user descriptions, item metadata, and user reviews are converted to a common format -- natural language sequences. The rich information from natural language assists P5 to capture deeper semantics for personalization and recommendation. Specifically, P5 learns different tasks with the same language modeling objective during pretraining. Thus, it serves as the foundation model for various downstream recommendation tasks, allows easy integration with other modalities, and enables instruction-based recommendation based on prompts. P5 advances recommender systems from shallow model to deep model to big model, and will revolutionize the technical form of recommender systems towards universal recommendation engine. With adaptive personalized prompt for different users, P5 is able to make predictions in a zero-shot or few-shot manner and largely reduces the necessity for extensive fine-tuning. On several recommendation benchmarks, we conduct experiments to show the effectiveness of P5. We release the source code at https://github.com/jeykigung/P5.

研究の動機と目的

• レーティング予測、順序付き推薦、レビュー生成などの多様な推薦タスクを、1つの共通フレームワークに統合すること。
• タスク固有のアーキテクチャの制限を克服し、共通の言語モデリング目的を通じて推薦タスク間での知識移譲を可能にすること。
• パーソナライズドプロンプトを用いたゼロショットおよびフェイシュット推薦を可能にし、広範なファインチューニングへの依存を減らすこと。
• 最近のプロンプトベースのLLMの進展にインspiredされ、自然言語プロンプトを用いたインstructベースの推薦の可能性を検討すること。
• マルチモーダルデータを統一されたテキストベースのパラダイムに統合することで、ユニバーサルな推薦エンジンの基盤を構築すること。

提案手法

• タスク固有のプロンプトテンプレートを用いて、ユーザー・アイテムの相互作用、ユーザーのプロフィール、アイテムのメタデータ、レビューといったすべての推薦データを自然言語シーケンスに変換する。
• 共通の言語モデリング目的を用いて、パーソナライズドプロンプトのマルチタスク集約データ上で、シーケンス・ツー・シーケンスのトランスフォーマーモデル（T5ベース）をプリトレーニングする。
• 再トレーニングなしにゼロショットまたはフェイシュット予測を可能にするために、推論時に適応的でユーザー固有のプロンプトを使用する。
• サブワードトークン化とホールワード埋め込みを用いてパーソナライズ化を実装し、意味的構造を保持しながら学習パrameter数を最小限に抑える。
• 5つのタスクファミリーをカバーするプロンプトライブラリを設計：レーティング予測、順序付き推薦、レビュー生成、説明生成、アイテム検索。
• 標準化されたベンチマークを用いて、未確認のプロンプト、新しいアイテム、クロスドメイン設定へのゼロショット転送を評価することで一般化を検証する。

実験結果

リサーチクエスチョン

• RQ1 共通のプリトレーニング目的の下で、統合的テキスト・ツー・テキストフレームワークが多様な推薦タスクを効果的に統合できるか？
• RQ2 P5は、未確認のパーソナライズドプロンプトや新しいアイテムに対して、ゼロショットまたはフェイシュット設定でどの程度一般化できるか？
• RQ3 プロンプト設計とプロンプトスケーリングが、さまざまな推薦タスクにおけるモデル性能に与える影響は何か？
• RQ4 パーソナライズ戦略の選択（サブワードトークン化対比専用トークン）が、モデル性能と一般化に与える影響は何か？
• RQ5 P5がインstructベースおよびマルチモーダル推薦をサポートできるユニバーサルな推薦の基盤として、どの程度の可能性を有するか？

主な発見

• P5は、ベンチマークデータセット上で5つの推薦タスクファミリー（レーティング予測、順序付き推薦、レビュー生成、説明生成、アイテム検索）すべてでSOTAまたは競争力のある性能を達成した。
• P5は強力なゼロショット一般化を示した：例えば説明生成のためのプロンプト3-12など、未学習のプロンプトに対してもファインチューニングなしで良好な性能を発揮した。
• プロンプトライブラリのスケーリング（P5-PS）は、ほとんどのタスク、特にゼロショットタスクで性能向上をもたらした。これは、高品質で多様なプロンプトが一般化を促進することを示している。
• デフォルトのサブワードベースのパーソナライズ戦略（P5-S）は、順序付きおよび直接的推薦タスクで、専用トークンアプローチ（P5-I）を上回った。これは、パrameter効率の向上と共同学習の有効性によるものである。
• P5-Iは一部の生成タスク（例：説明生成）ではP5-Sと同等またはわずかに優れた性能を示したが、ランク付けおよび順序付きタスクでは顕著に劣った。これは、パーソナライズにおけるトークン爆発の限界を示している。
• モデルはドメインおよび新しいアイテムの間でも効果的に一般化した。これは、P5がユニバーサルな推薦エンジンとしての可能性を確認している。