[論文レビュー] Recommender Systems with Generative Retrieval

Shashank Rajput, Nikhil Mehta+11 more|arXiv (Cornell University)|May 8, 2023

Recommender Systems and Techniques被引用数 27

ひとこと要約

この論文は、Semantic IDs を生成する生成的検索フレームワーク TIGER を導入し、RQ-VAE によって生成された Semantic IDs を使用して Transformer seq2seq モデルを訓練し、次のアイテムの Semantic ID を予測する。複数データセットで最先端の結果を達成し、コールドスタートおよび多様な推奨を実現する。

ABSTRACT

Modern recommender systems perform large-scale retrieval by first embedding queries and item candidates in the same unified space, followed by approximate nearest neighbor search to select top candidates given a query embedding. In this paper, we propose a novel generative retrieval approach, where the retrieval model autoregressively decodes the identifiers of the target candidates. To that end, we create semantically meaningful tuple of codewords to serve as a Semantic ID for each item. Given Semantic IDs for items in a user session, a Transformer-based sequence-to-sequence model is trained to predict the Semantic ID of the next item that the user will interact with. To the best of our knowledge, this is the first Semantic ID-based generative model for recommendation tasks. We show that recommender systems trained with the proposed paradigm significantly outperform the current SOTA models on various datasets. In addition, we show that incorporating Semantic IDs into the sequence-to-sequence model enhances its ability to generalize, as evidenced by the improved retrieval performance observed for items with no prior interaction history.

研究の動機と目的

• 従来のクエリ-候補一致を超えて、連続的な推奨システムを動機づけ、候補IDを直接生成する。
• アイテムの意味的共有とスケーラブルなインデックス作成を可能にする新規の Semantic ID 表現を提案する。
• ユーザーのシーケンスから次のアイテムの Semantic ID を予測する Transformer ベースの生成的検索モデルを開発する。
• 意味的な推奨を実現するために、アイテムを 4 トークンの Semantic ID（RQ-VAE の 3 コードワードと衝突を防ぐための固有の第4要素）で表現する。
• エンコーダへの入力にユーザートークンを組み込み、推奨を個別化する。
• Semantic IDs の語彙を 1024 トークン、ユー IDs を 2000 トークンとして用い、T5X ベースのエンコーダデコーダをエンドツーエンドで訓練可能とする。）

提案手法

• アイテムの content embeddings から導出された離散コード語のタプルとして Semantic IDs を導入する。
• 残差量子化 VAE (RQ-VAE) を用いてアイテム content embeddings を多段階のコードワードのタプルに量子化する。
• ユーザーの履歴から次に相互作用するアイテムの Semantic ID を予測する Transformer ベースの sequence-to-sequence モデルを訓練する。
• 各アイテムを 4-トークンの Semantic ID（RQ-VAE の 3 コードワードと衝突を防ぐための固有の第4要素）で表現する。
• エンコーダへの入力にユーザートークンを組み込み、推奨を個別化する。
• Semantic IDs の語彙を 1024 トークン、ユー IDs を 2000 トークンとする T5X ベースのエンコーダデコーダを用い、エンドツーエンドで訓練可能とする。

実験結果

リサーチクエスチョン

• RQ1 Semantic IDs を用いた生成的検索は従来のデュアルエンコーダ法より連続推奨を改善できるか？
• RQ2 コンテンツベースの Semantic IDs は interaction history がほとんどないアイテムの一般化（コールドスタート）と多様な推奨のサポートを可能にするか？
• RQ3 RQ-VAE ベースの Semantic ID 生成はハッシュベースやランダム ID アプローチと比べて検索品質にどのような違いがあるか？

主な発見

• TIGER は三つの Amazon データセット（Beauty、Sports & Outdoors、Toys & Games）で Recall@5/10 および NDCG@5/10 のいずれも最先端ベースラインを一貫して上回る。
• Beauty において、TIGER は二番手ベースラインに対して NDCG@5 を最大 29% 向上させ、Recall@5 では S3-Rec を 17.3% 超える。
• Toys & Games では、TIGER は NDCG@5 と NDCG@10 がそれぞれ 21% および 15% 向上。
• RQ-VAE Semantic IDs は LSH や Random IDs よりも良い検索を生み出し、LSH と Random IDs はデータセット全体で低い性能を示す。
• このフレームワークは Semantic 情報を活用することでコールドスタート推奨を可能にし、温度パラメータに基づくデコードで多様性を制御できる。