[論文レビュー] GPT4Rec: A Generative Framework for Personalized Recommendation and User Interests Interpretation

Jinming Li, Wentao Zhang+4 more|arXiv (Cornell University)|Apr 8, 2023

Topic Modeling被引用数 12

ひとこと要約

GPT4Recは推薦をクエリ生成と検索として扱い、GPT-2ベースの言語モデルを用いて多様で解釈可能なユーザー関心クエリを生成し、BM25でアイテムを取得することでRecall@Kを改善し、解釈性とコールドスタート対応を提供する。

ABSTRACT

Recent advancements in Natural Language Processing (NLP) have led to the development of NLP-based recommender systems that have shown superior performance. However, current models commonly treat items as mere IDs and adopt discriminative modeling, resulting in limitations of (1) fully leveraging the content information of items and the language modeling capabilities of NLP models; (2) interpreting user interests to improve relevance and diversity; and (3) adapting practical circumstances such as growing item inventories. To address these limitations, we present GPT4Rec, a novel and flexible generative framework inspired by search engines. It first generates hypothetical "search queries" given item titles in a user's history, and then retrieves items for recommendation by searching these queries. The framework overcomes previous limitations by learning both user and item embeddings in the language space. To well-capture user interests with different aspects and granularity for improving relevance and diversity, we propose a multi-query generation technique with beam search. The generated queries naturally serve as interpretable representations of user interests and can be searched to recommend cold-start items. With GPT-2 language model and BM25 search engine, our framework outperforms state-of-the-art methods by $75.7\%$ and $22.2\%$ in Recall@K on two public datasets. Experiments further revealed that multi-query generation with beam search improves both the diversity of retrieved items and the coverage of a user's multi-interests. The adaptiveness and interpretability of generated queries are discussed with qualitative case studies.

研究の動機と目的

• アイテムIDを超えて、推奨にアイテムの内容とNLP言語モデルを活用する動機づけ。
• ユーザーとアイテムの言語空間埋め込みを学習する生成フレームワークを提案。
• ビーム探索を用いたマルチクエリ生成を通じて、ユーザー関心の多様で解釈可能な表現を提供。
• コールドスタートと進化するアイテム在庫に対応しつつ、関連性と多様性を向上させることの有効性を示す。

提案手法

• ユーザー履歴アイテムのタイトルをプロンプトとして整形し、GPT-2をファインチューニングしてユーザーとアイテムの言語空間埋め込みを学習する。
• ビーム探索を用いて、ユーザー関心の異なる側面を捉える複数の多様なクエリを生成する。
• 生成された各クエリに対してBM25を検索識別子として用い、関連性と多様性のバランスをとるために結果を集約する。
• アイテム履歴に対する対比学習風のファインチューニングで言語モデルとBM25パラメータを別々に学習する（アイテム履歴に対するコントラスト学習風のファインチューニング；BM25のksとbをグリッドサーチ）。
• 複数クエリからの結果をランキングベースで集約して最終の推奨リストを形成する。

実験結果

リサーチクエスチョン

• RQ1 生成言語モデルは個別推奨のために豊富なアイテム内容情報とユーザー関心を捉えられるか。
• RQ2 マルチクエリビーム探索は多様で解釈可能なユーザー関心表現を生み出し、Recallとカバレッジを改善するか。
• RQ3 GPT4Recフレームワークはクエリベース検索を通じてコールドスタートと進化するアイテム在庫をどう扱うか。
• RQ4 生成クエリとBM25検索を組み合わせることが、ユーザー関心の多様性とカバレッジにどのような影響を与えるか。

主な発見

Dataset	Recall@K	FM-BPR	ContentRec	YouTubeDNN	BERT4Rec	GPT4Rec
Beauty	5	0.0356	0.0254	0.0376	0.0355	0.0653
Beauty	10	0.0499	0.0440	0.0549	0.0513	0.0810
Beauty	20	0.0716	0.0644	0.0753	0.0816	0.1027
Beauty	40	0.1040	0.0952	0.1066	0.1161	0.1297
Electronics	5	0.0345	0.0241	0.0352	0.0362	0.0434
Electronics	10	0.0387	0.0307	0.0435	0.0451	0.0480
Electronics	20	0.0441	0.0391	0.0539	0.0573	0.0524
Electronics	40	0.0505	0.0494	0.0684	0.0751	0.0574

• GPT4Recは2つの公開データセットでベースラインを上回るRecall@Kの改善を達成し、Kが大きくなるほど顕著な利得を示す（例: BeautyとElectronicsでRecall@40の競合手法に対して有意な改善）。
• マルチクエリビーム探索は取得アイテムの関連性と多様性を両方向上させ、Kクエリを生成して1クエリあたり1アイテムを取得する場合に最も高いRecall@Kを達成。
• Diversity@KおよびCoverage@Kの指標はクエリ数が増えると向上し、ユーザー関心の表現がより豊かでアイテムの露出が広がることを示唆。
• 生成されたクエリの解釈性を、人間が理解しやすいユーザー関心の表現として示す定性的分析とケーススタディを通じて示す。多様な側面の嗜好の取り扱いにも有効。
• フレームワークはより高度な言語モデルと検索エンジンの統合を柔軟に受け入れ、パフォーマンスをさらに向上させる可能性を示す。