[論文レビュー] Zero-Shot Next-Item Recommendation using Large Pretrained Language Models

Lei Wang, Ee‐Peng Lim|arXiv (Cornell University)|Apr 6, 2023

Topic Modeling被引用数 22

ひとこと要約

本論文は、GPT-3を用いた三段階のゼロショット Next-Item Recommendation (NIR) prompting戦略を提案し、候補集合を構築し、ユーザーの嗜好と代表的な映画の選択を用いた多段階プロンプトで誘導することで、MovieLens 100Kでゼロショット競合的な結果を達成する。

ABSTRACT

Large language models (LLMs) have achieved impressive zero-shot performance in various natural language processing (NLP) tasks, demonstrating their capabilities for inference without training examples. Despite their success, no research has yet explored the potential of LLMs to perform next-item recommendations in the zero-shot setting. We have identified two major challenges that must be addressed to enable LLMs to act effectively as recommenders. First, the recommendation space can be extremely large for LLMs, and LLMs do not know about the target user's past interacted items and preferences. To address this gap, we propose a prompting strategy called Zero-Shot Next-Item Recommendation (NIR) prompting that directs LLMs to make next-item recommendations. Specifically, the NIR-based strategy involves using an external module to generate candidate items based on user-filtering or item-filtering. Our strategy incorporates a 3-step prompting that guides GPT-3 to carry subtasks that capture the user's preferences, select representative previously watched movies, and recommend a ranked list of 10 movies. We evaluate the proposed approach using GPT-3 on MovieLens 100K dataset and show that it achieves strong zero-shot performance, even outperforming some strong sequential recommendation models trained on the entire training dataset. These promising results highlight the ample research opportunities to use LLMs as recommenders. The code can be found at https://github.com/AGI-Edgerunners/LLM-Next-Item-Rec.

研究の動機と目的

• 従来の訓練済みモデルを超えたゼロショットの次アイテム推奲のためのLLMの探究を動機づける。
• 微調整なしでアイテム空間を制約し、ユーザーの嗜好を捉えるprompting戦略を開発する。
• 構造化されたpromptingがMovieLens 100Kで競争力のあるゼロショット推奨を生み出せることを示す。

提案手法

• 推奨空間を狭めるために、ユーザーフィルタリングまたはアイテムフィルタリングを用いて各ユーザーの候補アイテム集合を構築する。
• 3段階のGPT-3 promptingプロセスを適用する：ステップ1 は視聴済みアイテムからユーザーの嗜好を要約する；ステップ2 は代表的な過去に視聴した映画を選定する；ステップ3 は候補集合から10本の映画の順位付きリストを推奨する。
• 3段階目の回答を推奨アイテムの抽出を容易にする形式に整える（例：特定の書式ヒントなど）。
• MovieLens 100K で HR@10 と NDCG@10 を指標として GPT-3 (text-davinci-003) で評価する。

Figure 1. Example inputs and outputs of GPT-3 with zero-shot prompting for a NLP task and a recommendation task.

実験結果

リサーチクエスチョン

• RQ1 構造化されたプロンプトに導かれる場合、巨大な事前学習済み言語モデルはゼロショット設定で次アイテム推奨を実行できるか？
• RQ2 候補セットによるアイテム空間の制約と多段階 prompting はゼロショット推奨精度を向上させるか？
• RQ3 異なる prompting コンポーネント（ユーザー嗜好、代表的な映画の選択、フォーマット）が性能にどのように影響するか？
• RQ4 ゼロショット NIR が強化された訓練済みベースラインや他のゼロショットアプローチと MovieLens 100K でどのように比較されるか？

主な発見

• ゼロショットNIR prompting は簡単なゼロショットプロンプトやランダム候補ベースラインより大幅に優れている。
• 候補セットと多段階 prompting を用いたNIR手法は MovieLens 100K で完全に訓練された逐次モデルと競争力がある。
• ユーザーフィルタ済み候補集合（UF）は一般にアイテムフィル済み集合（IF）より良い結果をもたらす。
• 中間結果を取り入れるためにプロンプトを分離する（マルチプロンプト）は、ステップを1つのプロンプトにまとめるより性能が良い。

Figure 2. Zero-Shot NIR prompts. The ground truth movie (i.e., The Rock) has been highlighted in red .